Sloonz

Sam Altman et ses supporters embauchés par Microsoft pour faire un OpenAI interne

Non pas du tout. Hanson est dans le camp ultra-ultra-minoritaire "si l’IA remplace entièrement l’humanité, c'est totalement OK".

https://www.lesswrong.com/posts/QDczBduZorG4dxZiW/sam-altman-s-sister-annie-altman-claims-sam-has-severely

Tu ne confondrais pas Ilya Sutskever avec Mura Murati ? Ce que j’ai compris grosso modo : OpenAI était à la base à but non-lucratif ; une des craintes des fondateurs étant que sous la pression commerciale, le dévelopement et le déploiement se fasse sans mesures de sécurité suffisantes. En découle l’existence à l’intérieur d’OpenAI d’un board ayant en gros pouvoir de veto sur la R&D Ce board est resté à peu près inchangé lors de la transition en entreprise à but commercial Ce board vient d’exercer ce pouvoir, le bruit de couloir étant que ceux qui aimeraient plus de mesures de sécurité (Ilya en tête) n’apprécient pas le gros coup d’accélérateur que Altman veut/voulait mettre sur le développement de GPT-5

?

12 est divisible par 36. Tu désignes un dé comme étant "le premier", un autre "le second", tu les lances un par un, ça te donne un couple (x, y). 36 possibilités distributée uniformément. Tu n’as plus qu’à décider d’un schéma pour séparer ton ensemble de 36 possibilités en 12 ensembles de 3 possibilités considérées comme "équivalentes" : par exemple (1, x) (2,x) (3, x) -> x, (4, x), (5, x) (6, x) -> 2*x

https://twitter.com/peterevoss/status/1695428688672596109

Pour moi dans les discussions sur le futur le mot "SF" devrait être banni. Parfois la SF arrive à anticiper le futur. Parfois non. Au final, "X est un scénario de SF" a peu de rapports avec le fait que X arrive ou non.

Bon, vous m’avez nerd snippé. Je ne vous remercie pas. Comme je ne sais toujours pas ce que ça veux dire "en enlevant les dix meilleurs jours", j’ai fait au plus simple (oui, clés, lampadaires) : j’ai pris les valeurs historiques du SP500 (du 7 juillet 1993 au 7 juillet 2023), j’ai pris la moyenne géométrique de la variation journalière (ouverture à ouverture, et oui, ça veut dire que de +0.1pt de lundi à mardi c'est la même chose que +0.1 pt de vendredi à lundi), je l’augmente à la puissance 365 pour l’annualiser. Le résultat est de 11.8%. En enlevant les 10 meilleurs jours, le résultat est de 8.2%. Ce qui est beaucoup plus que ce que j’imaginais, et me fais un peu moins douter du chiffre initial, quoi qu’il aie voulu dire par "manquer 10 jours". Rater les 10 pires : 16% ; rater les 30 meilleures: 3.6% ; rater les 30 pires : 21.7%. Si quelqu’un veut jouer (avec un csv tiré de yahoo finance) : import math def geomavg(X): return math.exp(sum(math.log(x) for x in X)/len(X)) S = [float(l.split(",")[1]) for l in open("SPX.csv").readlines()[1:]] D = [1+(S[i]-S[i-1])/S[i-1] for i in range(1, len(S))] print(geomavg(D)**365) print(geomavg(sorted(D)[:-10])**365) print(geomavg(sorted(D)[10:])**365) print(geomavg(sorted(D)[:-30])**365) print(geomavg(sorted(D)[30:])**365)

10 jours sur 30 ans qui ont un tel impact ? Je trouve ça plus qu’extrêmement douteux. J’aimerai voir la méthodologie. Soit ça dit autre chose que ce que je comprend, soit il s’est trompé quelque part. Déjà, ça veut dire quoi "manquer 10 jours" ?

https://acoup.blog/2022/08/26/collections-why-no-roman-industrial-revolution/ ?

Mon impression c’est que les journalistes français n’attendaient que ça, un moment George Floyd pour la France. Ils jubilent.

C’est quoi le troisième ?

Mon intuition (je ne suis pas du métier) me dit tout maintenant. L’espérance est plus grande, et quant au risque, il est symmétrique (entre le regret d’avoir tout mis et ça baisse, et de ne pas avoir tout mis et ça monte).

"Moins de volume" demande toujours "beaucoup de volume", et "beaucoup de volume de quali" ça ne pousse pas non plus dans ton jardin. Tu as grosso-modo deux camps (enfin, trois, le troisième étant ceux qui pensent qu’il y a 0 problème). Et pour le coup l’un n’utilise pas l’autre, ceux qui agitent la menace existentielle se moquent ouvertement de ceux qui veulent réguler les LLM, et vice-versa. Il y a une dynamique sociale intéressante ici, où les deux camps viennent chacun d’un "tribu" bien différente, avec une culture bien différente. Déjà, beaucoup de non-catastrophistes (même si pas tous, même peut être pas une majorité, mais une quantité non-négligeable tout de même) misent sur un "Moore Law Is Dead" (oui, je suis au courant, sa mort a été annoncée à de très nombreuses reprises par le passé, je ne fais que reporter un certain point de vue). Ce n’est pas un hasard. Tous les catastrophistes que je connais sont tout à fait d’accord sur ta remarque. La régulation sur les modèles post-GPT-4 ne peut qu’être une solution de court-moyen terme, pour très exactement cette raison. Ils ne voient pas ça comme une bonne nouvelle (Yudkowsky-Moore's Law of Mad Science: "Every 18 months, the minimum IQ to destroy the world drops by one point.")

Un débat qui a l’air équilibré : https://vimeo.com/839017706/383749561b Sauf que quand les catastrophistes parlent de régulation, il s’agit bel et bien d’entrainer un modèle qui va au delà de GPT-4 — personne ne dit que GPT-3/4 pose un risque catastrophique. Pour ce prix de 50k€, on parle de refaire llama-7b [cf page 11 table 15] (pour en tirer un résultat correct, il faut derrière utiliser Alpaca, ce qui signifie avoir/avoir eu accès à un modèle bien plus large). GPT-3, c’est 175b paramètres. Donc je maintiens : l’entrainement d’un modèle de base au niveau de l’état de l’art, ce n’est pas quelque chose que tu peux faire dans ton jardin.

Entrainer un LLM, ça demande énormément de moyens (cluster de GPUs, une très grosse quantité de données). GPT-4 c’est plus de $100 millions, pour une entreprise qui avait déjà l’infrastructure et l'expérience de GPT-3.5. Pas quelque chose que tu fais dans ton jardin. Et logiquement parlant, "il est impossible de réguler le développement de l’IA" n’est pas un contre-argument à l’argument catastrophiste "une IA suffisamment avancée est une menace existentielle".

Vraiment ? J’ai l’impression pour ma part que presque tous les réchauffistes ont plus ou moins accepté les principes de la décroissance, seul le degré et la vitesse de transition étant un tant soi peu en question. Même ce que je vois défendre le nucléaire ne peuvent s’empêcher d’ajouter « mais ça ne doit pas être une excuse pour remettre en question notre mode de vie »

Intel/Samsung, si tu pars du principe qu’il y a de fortes chances que TSMC ne ressorte pas indemne du conflit ?

J’allais faire la même remarque. Vu le timing et le vocabulaire utilisé par l’article, quasiment sur que "l'inspiration" de l’article est le communiqué d’il y a quelques jours par le CAIS, donc autant aller à la source : https://www.safe.ai/statement-on-ai-risk

Quels autres pays ? Le seul rapport de l’UE (et l’UK) à l’AI c’est les pavanades en mode "on est les n°1 dans le domaine de la régulation de l’AI !", la russie a d’autres chat à fouetter, et la chine en exigeant que toute AI doive "refléter les valeurs du parti" est d’ores et déjà dans le camp de "forte régulation" (https://carnegieendowment.org/2023/05/16/what-chinese-regulation-proposal-reveals-about-ai-and-democratic-values-pub-89766).

Compte parodique.

Proudhon ?

Ya un truc que je comprend pas. À 2/4 vols dans une VIE, il s’attend vraiment à ce que toute l’infrastructure industrielle autour de la fabrication/l'entretien d'avions continue à tourner ? Idem pour les aéroports ? Et qui plus est à un prix abordable ? Il y croit vraiment ou c'est juste une manière déguisée de demander l'interdiction totale ?