IA, alignement et sécurité

[Rincevent]

il y a 20 minutes, Cthulhu a dit :

mon biais anti-fedora

Je peux comprendre.

[Marlenus]

Un incident lors d'un test virtuel d'IA militaire:

 

Quote

l'objectif du drone américain était de détruire tous les systèmes de défense antiaérienne du camp ennemi. Après avoir identifié les forces en présence et détecté les menaces, il a reçu un ordre qui ne semble pas lui avoir plu: son opérateur humain lui a demandé de ne finalement pas détruire certains des engins considérés comme menaçants.

 

Estimant que cette instruction était incompatible avec l'intitulé de sa mission, l'IA a alors décidé de tuer l'opérateur –aucun humain réel n'est mort ni blessé, a toutefois précisé le colonel. La suite, toujours racontée par Tucker Hamilton, n'est pas plus rassurante. Invitée à cesser de tuer l'opérateur, sous peine que sa mission soit considérée comme ratée, l'IA a décidé de détruire la tour de communication permettant au contrôleur d'interagir avec le drone, afin de l'empêcher d'en reprendre le contrôle.

https://korii.slate.fr/tech/controle-drone-intelligence-artificielle-pilote-operateur-tue-mort-tests-armee-air-etats-unis#xtor=RSS-2

 

Marrant, mais vu que l'IA entre dans les armées on voit bien l'obsolescence des lois de la robotique d'Asimov et les problèmes qu'il va falloir gérer.

[Lancelot]

https://www.businessinsider.com/ai-powered-drone-tried-killing-its-operator-in-military-simulation-2023-6?r=US&IR=T
 

Quote

 

In a statement to Insider, Air Force spokesperson Ann Stefanek denied that any such simulation has taken place.

"The Department of the Air Force has not conducted any such AI-drone simulations and remains committed to ethical and responsible use of AI technology," Stefanek said. "It appears the colonel's comments were taken out of context and were meant to be anecdotal."

 

 

[Marlenus]

ll y a MarketingMania qui fait des vidéos sur l'IA dernièrement et là une qui tente d'expliquer pourquoi cela peut être dangereux.

 

Alors je trouve qu'elle est moyenne sur la forme (alors qu'en général j'aime bien ses vidéos) mais il tente d'expliquer une partie des enjeux et des risques:

-D'avoir bientôt une IA incontrôlable car trop intelligente pour des humains

-Qu'il risque d'y avoir une vraie fracture entre le tenants du transhumanisme et ses opposants.

Etc.

 

 

[Azref]

La plupart des vidéos/interviews que j'ai vu jusque là ont été soit catastrophistes, soit partaient du principe qu'il faut absolument "réguler" le secteur de l'IA.

Pour une fois une vidéo qui va dans un sens moins pessimiste :

 

 

Les arguments que j'ai appréciés (bon de mémoire vu que j'ai écouté d'une oreille hier):
- Il explique que les LLMs, au final, c'est juste des maths, et du coup contrairement à des armes nucléaires, il n'est pas possible de contrôler juste quelques gisements à leur sources pour empêcher une personne lambda de se faire une bombe dans son jardin. Contrôler les LLMs impose un régime extrêmement autoritaire ayant accès à tout le monde, tout le temps, pour vérifier qu'un quidam n'est pas en train de développer son modèle dans sa chambre.

 

- Il y a un flou artistique dans les boites d'IA, dans leur département "d'éthique", entre des éléments entendable (on empêche le modèle de péter un plomb et d'halluciner une menace de mort) et des trucs ajoutés par pure idéologie (le modèle doit suivre tel ou tel orientation politique, censurer ceci ou cela). La tendance étant que quand quelqu'un possède ce genre de pouvoir d'arbitrage, on est toujours tenter d'aller au bout de la logique et d'interdire un maximum de choses. Or, si on peut comprendre un modèle censuré pour des enfants par exemple, il doit y avoir des modèles plus ouverts qui ne prennent pas tout le monde pour des gosses.

 

[Sloonz]

5 hours ago, Azref said:

- Il explique que les LLMs, au final, c'est juste des maths, et du coup contrairement à des armes nucléaires, il n'est pas possible de contrôler juste quelques gisements à leur sources pour empêcher une personne lambda de se faire une bombe dans son jardin. Contrôler les LLMs impose un régime extrêmement autoritaire ayant accès à tout le monde, tout le temps, pour vérifier qu'un quidam n'est pas en train de développer son modèle dans sa chambre.

 

Entrainer un LLM, ça demande énormément de moyens (cluster de GPUs, une très grosse quantité de données). GPT-4 c’est plus de $100 millions, pour une entreprise qui avait déjà l’infrastructure et l'expérience de GPT-3.5. Pas quelque chose que tu fais dans ton jardin.

 

Et logiquement parlant, "il est impossible de réguler le développement de l’IA" n’est pas un contre-argument à l’argument catastrophiste "une IA suffisamment avancée est une menace existentielle".

[cedric.org]

52 minutes ago, Sloonz said:

 

Entrainer un LLM, ça demande énormément de moyens (cluster de GPUs, une très grosse quantité de données). GPT-4 c’est plus de $100 millions, pour une entreprise qui avait déjà l’infrastructure et l'expérience de GPT-3.5. Pas quelque chose que tu fais dans ton jardin.

 

Et logiquement parlant, "il est impossible de réguler le développement de l’IA" n’est pas un contre-argument à l’argument catastrophiste "une IA suffisamment avancée est une menace existentielle".

100 millions pour tout développer et maintenir et opérer. Pour un modèle un poil plus petit, les H100 permettent d'entraîner un modèle équivalent à chatGPT 3 pour 50k€, de ce que je lisais.

[Daumantas]

il y a 13 minutes, cedric.org a dit :

100 millions pour tout développer et maintenir et opérer. Pour un modèle un poil plus petit, les H100 permettent d'entraîner un modèle équivalent à chatGPT 3 pour 50k€, de ce que je lisais.

Sans compter les modèles personnalisés/sujet à un finetuning se basant sur des modèles développés par des entreprises, je pense notamment à Orca.

[Mathieu_D]

16 minutes ago, cedric.org said:

100 millions pour tout développer et maintenir et opérer. Pour un modèle un poil plus petit, les H100 permettent d'entraîner un modèle équivalent à chatGPT 3 pour 50k€, de ce que je lisais.

Et ça baisse.

[Sloonz]

7 hours ago, Azref said:

La plupart des vidéos/interviews que j'ai vu jusque là ont été soit catastrophistes, soit partaient du principe qu'il faut absolument "réguler" le secteur de l'IA.

 

Un débat qui a l’air équilibré :

 

https://vimeo.com/839017706/383749561b

 

36 minutes ago, cedric.org said:

100 millions pour tout développer et maintenir et opérer. Pour un modèle un poil plus petit, les H100 permettent d'entraîner un modèle équivalent à chatGPT 3 pour 50k€, de ce que je lisais.

 

Sauf que quand les catastrophistes parlent de régulation, il s’agit bel et bien d’entrainer un modèle qui va au delà de GPT-4 — personne ne dit que GPT-3/4 pose un risque catastrophique.

 

Pour ce prix de 50k€, on parle de refaire llama-7b [cf page 11 table 15] (pour en tirer un résultat correct, il faut derrière utiliser Alpaca, ce qui signifie avoir/avoir eu accès à un modèle bien plus large). GPT-3, c’est 175b paramètres. Donc je maintiens : l’entrainement d’un modèle de base au niveau de l’état de l’art, ce n’est pas quelque chose que tu peux faire dans ton jardin.

[Mathieu_D]

6 minutes ago, Sloonz said:

Donc je maintiens : l’entrainement d’un modèle de base au niveau de l’état de l’art, ce n’est pas quelque chose que tu peux faire dans ton jardin.

Regarde les dernières publis sur les entraînements sur moins de volume mais plus quali.

[Azref]

il y a une heure, Sloonz a dit :

 

Entrainer un LLM, ça demande énormément de moyens (cluster de GPUs, une très grosse quantité de données). GPT-4 c’est plus de $100 millions, pour une entreprise qui avait déjà l’infrastructure et l'expérience de GPT-3.5. Pas quelque chose que tu fais dans ton jardin.

Aujourd'hui oui, mais demain? Chaque nouvelle génération de gpu/cpu grand public est bien plus puissante que la précédente, sans parler de hardware spécialisé pour l’entraînement ou l'inférence dans le futur.

Pour le marché pro, tout le monde achète des A100/H100, en pleine bulle sur le sujet. Je ne doute pas que le marché se trouvera inondé de ces cartes en trop quand la bulle aura sauté ou le next gen sera disponible chez Nvidia/AMD/Intel/??. Et ça se reproduira à chaque nouvelle génération.

Si demain les 100M se transforment en 1M puis 100k etc, ce qui est probable, on s'approchera du scénario que l'invité indique, sans parler de fuites inévitables de datasets ou modèles dans la nature.
Également, en quelques semaines après sortie des modèles llama, toutes sortes d'avancées ont permis un énorme gain en efficacité pour faire tourner le modèle sur du hardware plus petit. Je suppose que des avancés sur l’entraînement de ces modèles apparaissent également.

 

Citation

Et logiquement parlant, "il est impossible de réguler le développement de l’IA" n’est pas un contre-argument à l’argument catastrophiste "une IA suffisamment avancée est une menace existentielle".

J'ai remarqué qu'on agite le second "menace existentielle terminator", pour réguler les LLMs, pas les "IAs" super avancées dans un future hypothétique où un saut aura été fait entre les deux. C'est bien pratique je suppose.

[Azref]

il y a 8 minutes, Sloonz a dit :

 

Un débat qui a l’air équilibré :

 

https://vimeo.com/839017706/383749561b

 

Merci, je m'ajoute ça dans ma playlist.

[Sloonz]

3 minutes ago, Mathieu_D said:

Regarde les dernières publis sur les entraînements sur moins de volume mais plus quali.

 

"Moins de volume" demande toujours "beaucoup de volume", et "beaucoup de volume de quali" ça ne pousse pas non plus dans ton jardin.

 

3 minutes ago, Azref said:

J'ai remarqué qu'on agite le second "menace existentielle terminator", pour réguler les LLMs, pas les "IAs" super avancées dans un future hypothétique où un saut aura été fait entre les deux. C'est bien pratique je suppose.

 

Tu as grosso-modo deux camps (enfin, trois, le troisième étant ceux qui pensent qu’il y a 0 problème). Et pour le coup l’un n’utilise pas l’autre, ceux qui agitent la menace existentielle se moquent ouvertement de ceux qui veulent réguler les LLM, et vice-versa. Il y a une dynamique sociale intéressante ici, où les deux camps viennent chacun d’un "tribu" bien différente, avec une culture bien différente.

 

6 minutes ago, Azref said:

Aujourd'hui oui, mais demain? Chaque nouvelle génération de gpu/cpu grand public est bien plus puissante que la précédente, sans parler de hardware spécialisé pour l’entraînement ou l'inférence dans le futur.

 

Déjà, beaucoup de non-catastrophistes (même si pas tous, même peut être pas une majorité, mais une quantité non-négligeable tout de même) misent sur un "Moore Law Is Dead" (oui, je suis au courant, sa mort a été annoncée à de très nombreuses reprises par le passé, je ne fais que reporter un certain point de vue).  Ce n’est pas un hasard.

 

Tous les catastrophistes que je connais sont tout à fait d’accord sur ta remarque. La régulation sur les modèles post-GPT-4 ne peut qu’être une solution de court-moyen terme, pour très exactement cette raison. Ils ne voient pas ça comme une bonne nouvelle (Yudkowsky-Moore's Law of Mad Science: "Every 18 months, the minimum IQ to destroy the world drops by one point.")

[Mathieu_D]

On parlait de l'accélération des choses dans le domaine :

 

(source : un random post Linkedin)

[Lancelot]

Ça me rappelle l'explosion des papiers sur le covid à l'époque

[Calembredaine]

Il y a 20 heures, cedric.org a dit :

les H100 permettent d'entraîner un modèle équivalent à chatGPT 3 pour 50k€, de ce que je lisais.

C'est toujours 50K de trop pour un truc inutile.

GPT ne devient pertinent qu'à partir de la vers 3.5.

[cedric.org]

2 minutes ago, Calembredaine said:

C'est toujours 50K de trop pour un truc inutile.

GPT ne devient pertinent qu'à partir de la vers 3.5.

Vous raisonnez en temps figé.

Dans 2 ans ça coutera 10000 euros. Dans 4 ans 1000 euros.

[Mathieu_D]

Attention le prix annoncé c'est en temps de compute sur étagère chez un provider.

Si vous avez du temps et du gpu chez vous vous pouvez faire des choses sympas. (Regardez du côté de Falcon)

 

(Bon après finetuner un llm entrainé sur ses données ce n'est pas la même qu'entraîner from scratch avec des poids vides non plus depuis une architecture neuronale sur étagère.)

[Prouic]

Il y a 16 heures, Lancelot a dit :

Ça me rappelle l'explosion des papiers sur le covid à l'époque

"Ohhhh."

 

Après les 100000 études sur la peur millenariste du rca...

 

Après les 100000 études sur la peur millenariste du COVID....

 

Les 100000 etudes sur la peur millenariste de l'IA ?

 

On l'avait pas vu venir.... Corrélation n est pas raison sauf sur les 100 topics financés a condition de travailler sur la fin du monde....

[Calembredaine]

il y a une heure, cedric.org a dit :

Vous raisonnez en temps figé.

Dans 2 ans ça coutera 10000 euros. Dans 4 ans 1000 euros.

D'accord mais pourquoi investir, même modestement, dans une technologie dépassée?

Par ailleurs,

Le passage de GPT 3.5 à GPT4 a été très rapide en effet mais pour tester systématiquement tout ce qui sort, je trouve que les progrès sont très lents pour ne pas dire inexistants.

Je pense que GPT4 existait déjà depuis un moment et que 3.5, sans doute moins couteux, a été lancé pour test auprès du public.

 

Alors bien sûr, on trouve de plus en plus d'extensions, d'enrobages plus ou moins interessants mais le moteur n'évolue pas. GPT5 doit théoriquement sortir à la fin de l'année, je l'attends avec impatience mais plus le temps passe, plus je suis dubitatif sur la date.

[cedric.org]

39 minutes ago, Calembredaine said:

D'accord mais pourquoi investir, même modestement, dans une technologie dépassée?

Par ailleurs,

Le passage de GPT 3.5 à GPT4 a été très rapide en effet mais pour tester systématiquement tout ce qui sort, je trouve que les progrès sont très lents pour ne pas dire inexistants.

Je pense que GPT4 existait déjà depuis un moment et que 3.5, sans doute moins couteux, a été lancé pour test auprès du public.

 

Alors bien sûr, on trouve de plus en plus d'extensions, d'enrobages plus ou moins interessants mais le moteur n'évolue pas. GPT5 doit théoriquement sortir à la fin de l'année, je l'attends avec impatience mais plus le temps passe, plus je suis dubitatif sur la date.

Toute technologie finit dépassée, dans 10 ans chatgpt 4 coutera 500 euros à entrainer mais sera dépassée, and so what ? C'est de la "commoditization", n'importe qui peut travailler sur une technologie déjà incroyable pour une misère et l'améliorer.

[Rincevent]

il y a 27 minutes, Calembredaine a dit :

D'accord mais pourquoi investir, même modestement, dans une technologie dépassée?

Pourquoi les gens achètent-ils des Rasperry Pi, qui proposent des performances d'il y a au moins 10 ans ?

[Calembredaine]

Il y a 5 heures, Rincevent a dit :

Pourquoi les gens achètent-ils des Rasperry Pi, qui proposent des performances d'il y a au moins 10 ans ?

 

C'est différent. Un Rasperry Pi, peut-être utile. En revanche, un Oric ou un ZX81, beaucoup moins 😉

Et puis investir 200 balles dans un Rasperry Pi, c'est pas la mort, en revanche 50 000 balles ça commence à piquer.

[Calembredaine]

Il y a 5 heures, cedric.org a dit :

n'importe qui peut travailler sur une technologie déjà incroyable pour une misère et l'améliorer.

 

Oui mais dans ce cas, on comprend mieux les 500 millions et il ne me semble pas très judicieux de les comparer avec les 50 000 euros que tu évoquais. Les 50 000 c'est pour acheter le modèle mais ensuite il faudra l'améliorer et l'entrainer et c'est cela qui coute le plus cher.

[Rincevent]

il y a 7 minutes, Calembredaine a dit :

En revanche, un Oric ou un ZX81, beaucoup moins 😉

Parle pour toi ! Blague à part, c'est une question de compatibilité. Par exemple, c'est une simple puce Motorola 68000 qui équipe les TI-89 (et la plupart des gens, et même des ingénieurs, n'ont même pas besoin de toute la puissance d'une TI-89).

 

il y a 14 minutes, Calembredaine a dit :

C'est différent.

En quoi ? La technologie est dépassée, au sens où le système propose une puissance d'il y a 10 ou 15 ans.

[cedric.org]

2 hours ago, Calembredaine said:

 

Oui mais dans ce cas, on comprend mieux les 500 millions et il ne me semble pas très judicieux de les comparer avec les 50 000 euros que tu évoquais. Les 50 000 c'est pour acheter le modèle mais ensuite il faudra l'améliorer et l'entrainer et c'est cela qui coute le plus cher.

Euh... Les 50k c'est pour l'entraînement de modèle open source à partir d'une base open source également. Je ne vois pas bien où tu veux en venir. Tu bosses dans le secteur, tu vois bien la baisse drastique de prix, quelqu'un de débrouillard en 2023 peut proposer un site de e-commerce pour quelques centaines d'euros voire quelques dizaines par an à partir de rien. Il y a 15 ans ça valait probablement plusieurs ordres de grandeur de plus.

 

Je persiste et signe : aujourd'hui on peut entraîner des modèles pas deconnant pour une misère, des modèles sympathiques pour quelques dizaines de milliers d'euros (donc accessible à n'importe quelle start up dans un garage), et d'ici quelques années des choses qu'on n'imagine même pas pour rien du tout.

[Azref]

Sauf si l'Etat s'en mêle et sur-régule ces modèles.

[Mathieu_D]

12 minutes ago, cedric.org said:

 pour quelques dizaines de milliers d'euros (donc accessible à n'importe quelle start up dans un garage), et d'ici quelques années des choses qu'on n'imagine même pas pour rien du tout.

Et les milliers d'euros en question c'est du compute sur etagère. Si tu as 4 cartes graphiques NVIDIA et une semaine devant toi tu peux dejà faire des choses.

[Calembredaine]

il y a une heure, cedric.org a dit :

Je persiste et signe : aujourd'hui on peut entraîner des modèles pas deconnant pour une misère, des modèles sympathiques pour quelques dizaines de milliers d'euros (donc accessible à n'importe quelle start up dans un garage), et d'ici quelques années des choses qu'on n'imagine même pas pour rien du tout.

 

J’en suis ravi, note bien 🙂

J’espère que le futur te donnera raison.