Is this a bad thing? I always heard that here in France we have increasing forest coverage.

Alexandra Elbakyan deserves a Nobel and a presidential pardon. I doubt any other person alive now has made more for science.

A someone not in the field (CS/Machine learning) what did you expect these to be?

Je comprends, j'ai eu des périodes de AI-anxiety aussi vis à vis de mon boulot.

Après, je suis libriste anti-capitaliste aussi, et ça m'énerve qu'on pense que ces technos sont portées par les quelques boites qui se mettent en avant et qu'on ignore le rôle prépondérant de la recherche et de l'open source là dedans. La recherche et les modèles open-weight sont sur les talons des grands noms. Ils ont quelques mois de décalage, mais tu as aujourd'hui des modèles ouverts qui ont la performance du GPT-4 d'avril. Les évolutions tech précédentes étaient bien plus propriétaire que ce qui arrive autours de l'IA (j'inclue LLMs, modèles de diffusion et généralisation du DL là dedans) maintenant.

Et sur le droit d'auteur, bah en tant qu'anti-capitaliste, je dois te dire que j'ai pas spécialement d'amitié pour ce machin qui a tué plusieurs techs prometteuses dans l’œuf: le P2P, le partage de données par défaut, etc. Donc que là ils souhaitent s'arroger un droit supplémentaire, même si ça donne l'impression que je défend des connards comme Altman, je suis plutôt contre. L’ambiguïté actuelle rend impossible des modèles réellement open source (où les données d’entraînement seraient connues) et donne lieu à des situations ubuesques comme The Pile, dataset ouvert cité par plusieurs publis de recherche qu'on ne peut télécharger que par torrent car a priori illégal aux US.

Sur l'inférence de type, je me suis mal exprimé. Ce que je voulais dire c'est que j'ai vu les langages populaires proposer une inférence auto parce que c'est plus rapide et pratique (à court terme) quand tu codes à la main. Mais avec des générateurs de code on peut imaginer imposer une syntaxe beaucoup plus stricte et riche. Par exemple au niveau des déclarations de fonctions on pourrait imposer de non seulement déclarer le type, mais aussi un modèle de propriété (à la rust), des contraintes de valeur (jamais null, toujours inclu entre 0.0 et 1.0, etc.), et d'autres choses qui peuvent améliorer la vérifiabilité du code, mais qui seraient trop fastidieuse à la main pour devenir populaire.

Ça c’est un peu abandonner un idéal de qualité et se résigner à la médiocrité.

C'est un des mantras quand on commence à faire du management autours du dev: si tes procédures supposent un code parfait, tu fais pas ton boulot de manager. Oui en tant que dev, je veux atteindre le graal de la perfection. Mais faut être réaliste, même avec 25 ans d'expérience, ça reste extrêmement rare que je ponde un code parfait du premier coup. C'est bien plus responsable d'utiliser des tests, des séparer les modules par des APIs propres, de dev dans des branches, etc.

Technologiquement, j’aime vraiment le deep learning, mais il y a tellement de trucs problématiques associés que son industrialisation m’en dégoute un peu

En fait je crois qu'en ce moment je cherche un moyen de contrer ce discours dominant dans la sphère francophone. Y a vraiment très très peu de contenu positif sur ces technos et la plupart des critiques, je les trouve mal informées. Mais je sais pas comment tordre le cou à tant d'idées reçues et je suis pas sur qu'une vidéo de 3 heures sur le sujet est la bonne voie (n'est pas Franck Lepage qui veut). Du coup je vais essayer de faire un peu de contenu sur les choses que je connais bien (le dev) mais j'aimerais bien parler un peu d'économie, de théorie politique et de philo si ça prend.

Mon expérience sert quand même, mais pas celle du "code", plus celle de la programmation en général.

Pour te donner une idée, j'ai récemment ajouté une fonctionnalité dans une extension VScode, c'est du typescript, un langage que je ne connais pas du tout. Bon ben j'ai décodé un peu, mais je l'ai laissé générer son truc et je lui ai dit là où je pensais que des choses se passent mal et je le laisse "coder".

C'est un débat qui a lieu depuis qu'on a commencé à avoir des compilateurs et des langages en fait, sur le niveau de contrôle qu'on souhaite avoir. Rappelons que la baseline contre laquelle on se compare là, c'est pas un programme parfait, c'est un programme fait par un humain moyen.

Pour avoir du bon code, on fait comme on fait quand on emploie des stagiaires ou des mauvais programmeurs: on relit, on écrit des tests. Ça reste de l'ingénierie.

En fait je pense que l'approche de réécrire des langages pour les LLMs, ça permettrait de probablement augmenter le niveau de contrôle des humains sur le code en rendant plus de choses explicites, en imposant une certain verbosité. Par exemple, avec du code généré, l'inférence de type est moins nécessaire. Une autre tendance m'a surpris: plutôt que d'ajouter une dépendance, je peux beaucoup plus facilement lui dire de rajouter les quelques fonctionnalités dont j'ai besoin, diminuant la surface d'attaque.

l’usage qui s’est le plus démocratisé c’est la surveillance de masse

N'exagérons rien, ça sert aussi à guider des missiles.

En théorie, oui, en pratique, dans ma vie pro, savoir pisser du code sans attendre que le client arrive à comprendre assez ses besoin pour produire une spec, c'est extrêmement important!

Mais ce que je veux surtout dire, c'est que si tu sais coder, t'auras des choses qui marchent. Si tu sais spécifier ton besoin, t'auras quand même besoin de quelqu'un pour les implémenter. On arrive au moment où cette dernière contrainte est en train de sauter.

Alors sur le fait que Python soit pas efficace, je te rejoins totalement. Personnellement, on va le faire en Python parce que c'est un langage dans lequel on est à l'aise et qui est populaire en ce moment. Ça aurait été ça ou JavaScript, mais moi je suis moins à l'aise dans JavaScript.

Mais par contre, un des trucs qui se passe avec ces générateurs, c'est qu'on peut justement plus facilement s'adresser à des langages plus ardus. Je pourrais faire des choses en C, j'ai déjà fait générer du C mais pour de l'arduino, pas des choses super compliquées. Mais une des choses qui est intéressante c'est que pour lui faire faire du Rust par exemple, pour parler d'un langage efficace et moderne mais bien ardu, il n'est pas mauvais et c'est quelque chose auquel je me remets doucement.

Enfin, on est vraiment juste en train de gratter la surface du truc. Ce que je pense, c'est qu'à terme on va changer fondamentalement certains langages de programmation. Voir qu'on va inventer de nouveaux langages de programmation autour de ces technologies, autour de ce qu'ils sont capables de faire.

Yes, PDFs are much more permissive and may not have any semantic information at all. Hell, some old publications are just scanned images!

PDF -> semantic seems to be a hard problem that basically requires OCR, like these people are doing

Je pense oui. On est des libristes, si on a le temps j'aimerais bien qu'on arrive à mettre en place un truc sur peertube, mais sinon on fera ça sur twitch/youtube avec replay.

I love that PDFs are so difficult to transform into HTML, too

FYI, if that's relevant to your field, every new article published on arxiv.org now has a HTML render as well.

And on many older publications, transforming "arxiv.org" into "ar5iv.org" leads to an HTML rendering that is a best-effort experiments they ran for a while.

You are welcome.

C'est clairement un tour de main à prendre. Je l'ai pas encore, mais ça fait bientôt un mois et je l'utilise beaucoup mieux maintenant. Le truc le plus déroutant c'est que là où autrefois ma journée c'était 20 minutes de "bon, qu'est ce que je dois faire là?" et plusieurs heures à le faire, maintenant c'est à 80% du "quelle est la prochaine étape". Je passe beaucoup plus de temps à réfléchir à l'architecture, au design, aux algos et je me rends compte que c'est les parties que je préfère.

Après, c'est sur que ça fait un peu drôle de se dire que mes 25 ans d'XP à coder dans différents langages sont en train de disparaître en fumée, mais c'est la bénédiction et la malédiction de la tech: ça bouge vite et on doit tout le temps se réinventer

Je pense que ces outils vont changer pas mal de pratiques dans le milieu. Cette séance de streaming est aussi une tentative d'essayer d'en parler de façon un peu plus large.

Haha! Toi je t'ai pas oublié, j'ai laissé ta question en unread, je m'en occupe ce WE :-) Mais c'est une excellente idée de demander à des LLMs si j'ai pas moyen d'enrichir mon vocabulaire de quelques mots sur le sujet.

Je pense qu'un dev qui met un jour à coder sur son desktop avec son alim à 300W et son écran à 100W consomment probablement plus que quelques requêtes à des LLMs qui vont faire la chose en 5 minutes.

On a testé des modèles locaux, ils sont pas mauvais mais clairement moins souvent corrects qu'un Claude-sonnet-3.5 par exemple, mais eux serait clairement plus efficaces énergétiquement.

Après, je trouve qu'on en fait des caisses sur la conso énergétique de ces modèles. Quand on regarde les quantités en jeu, c'est franchement pas énorme. Les journalistes ont tendance à confondre l'énergie utilisée à l’entraînement et à l'inférence, à parler de la conso des datacenters pour parler de celle de l'IA (minoritaire aujourd'hui). Y a des critiques à faire, surtout sur le modèle centralisé que quelques boites poussent (OpenAI, Anthropic) mais la conso énergétique, je pense que c'est pas l'angle le plus raisonnable.

Can't this be said of almost every sizable minority voting block?

Hi! Nothing constructive to add right now, but I just wanted to counteract the negativity of comments here. I think it is a really interesting experiment and that we should embrace the possibilities that the fediverse give us in that respect, that may be actually eventually become the killer feature over centralized solutions.

Oui, j'avais essayé de copilotes au début de la tendance et c'était pas terrible, mais on m'a forcé à réessayer récemment et c'est devenu impossoible de s'en passer.

Je me suis également ajouté un module whisperX pour parler à l'IDE. C'est vraiment magique maintenant: je lui dis, en français, ce que je souhaite, et ça me le code. Je râle sur ce qui marche pas, ça le répare!

Alors c'est mal formulé et ça m'a amené à penser que c'était sûrement plus dû à l'amélioration de l'isolation, le déploiement de pompes à chaleur, etc... Non, l'étude est bien faite, (pas par Le Parisien comme ils le suggèrent mais par l’Agence européenne pour l’environnement). Ils mesurent le nombre de degrés-jour en dessous de 18°C. Les différences sont significatives et imputable entièrement à un réchauffement des hivers. Ils ne mesurent pas l'usage de chauffage, mais le besoin.

À voir si les périodes et lieux de comparaison ont été choisies de façon neutre mais c'est des périodes de 5 ans donc on lisse quand même des différences qui seraient dûes à une année exceptionnelle.

Oui, j'ai aucune idée de jusqu'où on va arriver à aller :-) Dans ma vidéo je fais en 20 minutes ce que je pensais pouvoir faire en 10 mais qui avant m'avait pris plus d'une journée. C'est dur à évaluer, j'ai l'impression de réapprendre tout mon métier.