Sloonz

Un débat qui a l’air équilibré : https://vimeo.com/839017706/383749561b Sauf que quand les catastrophistes parlent de régulation, il s’agit bel et bien d’entrainer un modèle qui va au delà de GPT-4 — personne ne dit que GPT-3/4 pose un risque catastrophique. Pour ce prix de 50k€, on parle de refaire llama-7b [cf page 11 table 15] (pour en tirer un résultat correct, il faut derrière utiliser Alpaca, ce qui signifie avoir/avoir eu accès à un modèle bien plus large). GPT-3, c’est 175b paramètres. Donc je maintiens : l’entrainement d’un modèle de base au niveau de l’état de l’art, ce n’est pas quelque chose que tu peux faire dans ton jardin.

Entrainer un LLM, ça demande énormément de moyens (cluster de GPUs, une très grosse quantité de données). GPT-4 c’est plus de $100 millions, pour une entreprise qui avait déjà l’infrastructure et l'expérience de GPT-3.5. Pas quelque chose que tu fais dans ton jardin. Et logiquement parlant, "il est impossible de réguler le développement de l’IA" n’est pas un contre-argument à l’argument catastrophiste "une IA suffisamment avancée est une menace existentielle".

Vraiment ? J’ai l’impression pour ma part que presque tous les réchauffistes ont plus ou moins accepté les principes de la décroissance, seul le degré et la vitesse de transition étant un tant soi peu en question. Même ce que je vois défendre le nucléaire ne peuvent s’empêcher d’ajouter « mais ça ne doit pas être une excuse pour remettre en question notre mode de vie »

Intel/Samsung, si tu pars du principe qu’il y a de fortes chances que TSMC ne ressorte pas indemne du conflit ?

J’allais faire la même remarque. Vu le timing et le vocabulaire utilisé par l’article, quasiment sur que "l'inspiration" de l’article est le communiqué d’il y a quelques jours par le CAIS, donc autant aller à la source : https://www.safe.ai/statement-on-ai-risk

Quels autres pays ? Le seul rapport de l’UE (et l’UK) à l’AI c’est les pavanades en mode "on est les n°1 dans le domaine de la régulation de l’AI !", la russie a d’autres chat à fouetter, et la chine en exigeant que toute AI doive "refléter les valeurs du parti" est d’ores et déjà dans le camp de "forte régulation" (https://carnegieendowment.org/2023/05/16/what-chinese-regulation-proposal-reveals-about-ai-and-democratic-values-pub-89766).

Compte parodique.

Proudhon ?

Ya un truc que je comprend pas. À 2/4 vols dans une VIE, il s’attend vraiment à ce que toute l’infrastructure industrielle autour de la fabrication/l'entretien d'avions continue à tourner ? Idem pour les aéroports ? Et qui plus est à un prix abordable ? Il y croit vraiment ou c'est juste une manière déguisée de demander l'interdiction totale ?

Pour corriger ce souci il suffit de dire que si ça tombe sur 49, alors on regarde le second numéro.

Ce qui en soit est plus une marque contre la bureaucratie de la santé étatisée et son processus kafkaïen d’approbation que contre les vaccins.

Ce n’est pas ce qu’esaie de dire Sekonda. Enfin, je ne pense pas. Parmis les signataires et les "anxieux", vous avez des gens sceptiques sur la panique autour du changement climatique, des transhumanistes qui rèvent de la possibilité de faire de l’ingénierie génétique sur des embryons humains, des libertariens qui n’ont cessé de crier "FDA delenda est" pendant la pandémie. Les mettre par réflexe dans le panier "luddites et socialistes obstructionnistes habituels" est une erreur.

Simplement parce que je bosse à 90% en anglais.

Ça c’est ChatGPT en général, qui te permet ensuite (à la création d’une nouvelle conversation), de choisir le modèle sous-jacent (GPT 3, GPT 3.5 ou GPT 4). Si tu n’as pas explicitement choisi GPT-4 dans le menu déroulant du choix du modèle, c’est GPT-3.5 (et je confirme que mon compte perso sans abonnement n’a pas accès au menu déroulant, donc à GPT 4, seul mon compte pro avec abonnement y a accès)

J’arrive toujours, de manière très décevante, à le faire planter assez facilement sur des questions de maths vraiment simples mais très peu (voire pas ?) connues (dont je ne parlerai pas publiquement pour la raison évidente que j’aimerai tester les évolutions suivantes sur ces même questions). Par contre sur le code je suis bluffé. Je bosse en ce moment un peu sur des plugins pour ejabberd et converse.js (qui bien que publics et open-source restent des projets de niche, dans un language de niche pour ejabberd), et il arrive quasiment par lui-même à implémenter des plugins pour des XEP manquantes juste avec un prompt pas spécialement travaillé (Please create a converse.js plugin implementing XEP-0425). Le résultat n’est pas parfait, il commet quelques erreurs (parfois dans les détails, parfois dans la structure), mais généralement sur son premier essai il utilise mieux que moi les API internes du projet (n’ayant de mon côté que quelques jours d’exploration du code de ces projets), ce qui me permet de gagner des heures d’exploration. S’il est possible de fine-tuner GPT-4 sur des projets internes, non-publics, pour qu’il apprenne la structure de ces projets aussi bien qu’il a appris la structure de ces projets publics, ça promet une vraie révolution dans le domaine de la programmation.

Dans la catégorie "bizzareries de GPT-3 et chat-GPT" Plus de détails et explications ici : https://www.lesswrong.com/posts/aPeJE8bSo6rAFoLqg/solidgoldmagikarp-plus-prompt-generation

Intuitivement (mais j'ai pas vérifié si ça menait quelque part) j’essaierai plutôt d’étudier la suite e_i = g(x_i) en présupposant que les x_i sont ordonnés (x_i < x_(i+1)), en particulier le signe de e_(i+1) - e_i.

Tu te prends la tête pour rien. Quel que soit P, si Q est vrai alors P => Q est toujours vrai, et comme tu l'as remarqué par réflexivité si x=y alors xRy est vrai. Tu peux donc dire 1=2 => xRy si ça te chante, et ici ce qui te chante c'est xSy => xRy

Tu es sur la bonne piste, tu dois utiliser le fait que la relation d'ordre soit totale, donc que (xRy ou yRx) et que yRx est "impossible" parce que xSy (si x≠y). La seule "difficulté" étant que tu dois gérer le cas de x=y où tu peux avoir effectivement xRy ET yRx. Sépare la démonstration en deux cas, x=y et x≠y (où tu peux alors dire que xRy et yRx sont exclusifs, idem pour S).

"Lutte contre les bassines" ? On peut m’expliquer ?

Je n’utilise pas Tapatalk mais l'API Tapatalk, pour recevoir les posts sur ma boite mail.

Ou ne plus sortir dans la rue.

Ce qu’ils disent n’a aucun sens. "L’essence est trop chère donc il faut bloquer tous les projets pétroliers".