Sloonz

10 jours sur 30 ans qui ont un tel impact ? Je trouve ça plus qu’extrêmement douteux. J’aimerai voir la méthodologie. Soit ça dit autre chose que ce que je comprend, soit il s’est trompé quelque part. Déjà, ça veut dire quoi "manquer 10 jours" ?

https://acoup.blog/2022/08/26/collections-why-no-roman-industrial-revolution/ ?

Mon impression c’est que les journalistes français n’attendaient que ça, un moment George Floyd pour la France. Ils jubilent.

C’est quoi le troisième ?

Mon intuition (je ne suis pas du métier) me dit tout maintenant. L’espérance est plus grande, et quant au risque, il est symmétrique (entre le regret d’avoir tout mis et ça baisse, et de ne pas avoir tout mis et ça monte).

"Moins de volume" demande toujours "beaucoup de volume", et "beaucoup de volume de quali" ça ne pousse pas non plus dans ton jardin. Tu as grosso-modo deux camps (enfin, trois, le troisième étant ceux qui pensent qu’il y a 0 problème). Et pour le coup l’un n’utilise pas l’autre, ceux qui agitent la menace existentielle se moquent ouvertement de ceux qui veulent réguler les LLM, et vice-versa. Il y a une dynamique sociale intéressante ici, où les deux camps viennent chacun d’un "tribu" bien différente, avec une culture bien différente. Déjà, beaucoup de non-catastrophistes (même si pas tous, même peut être pas une majorité, mais une quantité non-négligeable tout de même) misent sur un "Moore Law Is Dead" (oui, je suis au courant, sa mort a été annoncée à de très nombreuses reprises par le passé, je ne fais que reporter un certain point de vue). Ce n’est pas un hasard. Tous les catastrophistes que je connais sont tout à fait d’accord sur ta remarque. La régulation sur les modèles post-GPT-4 ne peut qu’être une solution de court-moyen terme, pour très exactement cette raison. Ils ne voient pas ça comme une bonne nouvelle (Yudkowsky-Moore's Law of Mad Science: "Every 18 months, the minimum IQ to destroy the world drops by one point.")

Un débat qui a l’air équilibré : https://vimeo.com/839017706/383749561b Sauf que quand les catastrophistes parlent de régulation, il s’agit bel et bien d’entrainer un modèle qui va au delà de GPT-4 — personne ne dit que GPT-3/4 pose un risque catastrophique. Pour ce prix de 50k€, on parle de refaire llama-7b [cf page 11 table 15] (pour en tirer un résultat correct, il faut derrière utiliser Alpaca, ce qui signifie avoir/avoir eu accès à un modèle bien plus large). GPT-3, c’est 175b paramètres. Donc je maintiens : l’entrainement d’un modèle de base au niveau de l’état de l’art, ce n’est pas quelque chose que tu peux faire dans ton jardin.

Entrainer un LLM, ça demande énormément de moyens (cluster de GPUs, une très grosse quantité de données). GPT-4 c’est plus de $100 millions, pour une entreprise qui avait déjà l’infrastructure et l'expérience de GPT-3.5. Pas quelque chose que tu fais dans ton jardin. Et logiquement parlant, "il est impossible de réguler le développement de l’IA" n’est pas un contre-argument à l’argument catastrophiste "une IA suffisamment avancée est une menace existentielle".

Vraiment ? J’ai l’impression pour ma part que presque tous les réchauffistes ont plus ou moins accepté les principes de la décroissance, seul le degré et la vitesse de transition étant un tant soi peu en question. Même ce que je vois défendre le nucléaire ne peuvent s’empêcher d’ajouter « mais ça ne doit pas être une excuse pour remettre en question notre mode de vie »

Intel/Samsung, si tu pars du principe qu’il y a de fortes chances que TSMC ne ressorte pas indemne du conflit ?

J’allais faire la même remarque. Vu le timing et le vocabulaire utilisé par l’article, quasiment sur que "l'inspiration" de l’article est le communiqué d’il y a quelques jours par le CAIS, donc autant aller à la source : https://www.safe.ai/statement-on-ai-risk

Quels autres pays ? Le seul rapport de l’UE (et l’UK) à l’AI c’est les pavanades en mode "on est les n°1 dans le domaine de la régulation de l’AI !", la russie a d’autres chat à fouetter, et la chine en exigeant que toute AI doive "refléter les valeurs du parti" est d’ores et déjà dans le camp de "forte régulation" (https://carnegieendowment.org/2023/05/16/what-chinese-regulation-proposal-reveals-about-ai-and-democratic-values-pub-89766).

Compte parodique.

Proudhon ?

Ya un truc que je comprend pas. À 2/4 vols dans une VIE, il s’attend vraiment à ce que toute l’infrastructure industrielle autour de la fabrication/l'entretien d'avions continue à tourner ? Idem pour les aéroports ? Et qui plus est à un prix abordable ? Il y croit vraiment ou c'est juste une manière déguisée de demander l'interdiction totale ?

Pour corriger ce souci il suffit de dire que si ça tombe sur 49, alors on regarde le second numéro.

Ce qui en soit est plus une marque contre la bureaucratie de la santé étatisée et son processus kafkaïen d’approbation que contre les vaccins.

Ce n’est pas ce qu’esaie de dire Sekonda. Enfin, je ne pense pas. Parmis les signataires et les "anxieux", vous avez des gens sceptiques sur la panique autour du changement climatique, des transhumanistes qui rèvent de la possibilité de faire de l’ingénierie génétique sur des embryons humains, des libertariens qui n’ont cessé de crier "FDA delenda est" pendant la pandémie. Les mettre par réflexe dans le panier "luddites et socialistes obstructionnistes habituels" est une erreur.

Simplement parce que je bosse à 90% en anglais.

Ça c’est ChatGPT en général, qui te permet ensuite (à la création d’une nouvelle conversation), de choisir le modèle sous-jacent (GPT 3, GPT 3.5 ou GPT 4). Si tu n’as pas explicitement choisi GPT-4 dans le menu déroulant du choix du modèle, c’est GPT-3.5 (et je confirme que mon compte perso sans abonnement n’a pas accès au menu déroulant, donc à GPT 4, seul mon compte pro avec abonnement y a accès)

J’arrive toujours, de manière très décevante, à le faire planter assez facilement sur des questions de maths vraiment simples mais très peu (voire pas ?) connues (dont je ne parlerai pas publiquement pour la raison évidente que j’aimerai tester les évolutions suivantes sur ces même questions). Par contre sur le code je suis bluffé. Je bosse en ce moment un peu sur des plugins pour ejabberd et converse.js (qui bien que publics et open-source restent des projets de niche, dans un language de niche pour ejabberd), et il arrive quasiment par lui-même à implémenter des plugins pour des XEP manquantes juste avec un prompt pas spécialement travaillé (Please create a converse.js plugin implementing XEP-0425). Le résultat n’est pas parfait, il commet quelques erreurs (parfois dans les détails, parfois dans la structure), mais généralement sur son premier essai il utilise mieux que moi les API internes du projet (n’ayant de mon côté que quelques jours d’exploration du code de ces projets), ce qui me permet de gagner des heures d’exploration. S’il est possible de fine-tuner GPT-4 sur des projets internes, non-publics, pour qu’il apprenne la structure de ces projets aussi bien qu’il a appris la structure de ces projets publics, ça promet une vraie révolution dans le domaine de la programmation.

Dans la catégorie "bizzareries de GPT-3 et chat-GPT" Plus de détails et explications ici : https://www.lesswrong.com/posts/aPeJE8bSo6rAFoLqg/solidgoldmagikarp-plus-prompt-generation

Intuitivement (mais j'ai pas vérifié si ça menait quelque part) j’essaierai plutôt d’étudier la suite e_i = g(x_i) en présupposant que les x_i sont ordonnés (x_i < x_(i+1)), en particulier le signe de e_(i+1) - e_i.