IA, alignement et sécurité

[cedric.org]

On 6/26/2023 at 1:25 PM, cedric.org said:

100 millions pour tout développer et maintenir et opérer. Pour un modèle un poil plus petit, les H100 permettent d'entraîner un modèle équivalent à chatGPT 3 pour 50k€, de ce que je lisais.

C'est tout frais : https://blogs.nvidia.com/blog/2023/06/27/generative-ai-debut-mlperf/

Quote

In a new industry-standard benchmark, a cluster of 3,584 H100 GPUs at cloud service provider CoreWeave completed a massive GPT-3-based benchmark in just 11 minutes.

À l'achat ça fait 40000€ * 3,584 (sans compter toute l'infra) = 143 360 000, avec l'infra probablement 200 millions.

 

Cependant en cloud, ça fait 5 euros de l'heure le H100 payé à la minute, donc ça fait 3300 euros, avec l'infra qui va avec ça doit faire 5000 euros. C'est absolument démentiel.

[Prouic]

https://arxiv.org/pdf/2402.11753.pdf

 

Comment hack la sécu de l'IA avec du ASCII art ...

[Hugh]

https://en.clickpetroleoegas.com.br/brazilian-man-arrested-after-fbi-alert-on-ai-reported-plot-to-harm-son-and-attack-schools-churches-and-officials-fpsv/

 

"Brazilian Man Arrested After FBI Alert on AI-Reported Plot to Harm Son and Attack Schools, Churches, and Officials"

 

Citation

Investigation began after the FBI passed on to the Brazilian Ministry of Justice information obtained through OpenAI, the company responsible for ChatGPT, about a concrete risk of violence

The case, which mobilized security forces at different levels, originated from an international alert forwarded through cooperation channels between Brazil and the United States.

According to the Civil Police of Espírito Santo, the suspect detailed, in messages exchanged with the artificial intelligence, plans that involved hiring a hitman to kill his own child, from a previous relationship. According to the investigation, the motivation was related to the intention of preventing his ex-partner from claiming child support from the child’s paternal grandmother after his death.

 

The process that culminated in the arrest began outside Brazil. According to delegate Ícaro Olímpio, responsible for the Specialized Cybercrime Repression Police Station (DRCC) of Espírito Santo, the FBI identified, through cooperation mechanisms with OpenAI — the company responsible for developing ChatGPT —, content indicating a concrete and imminent risk of violence.

Given the seriousness of the information, the U.S. investigative body passed the data to the Brazilian Ministry of Justice and Public Security. The ministry, in turn, directed the case to the Civil Police of Espírito Santo, initiating the local investigation.

In this regard, the delegate highlighted that this type of international cooperation has become increasingly relevant in light of the growing use of artificial intelligence in people’s daily lives. According to him, digital platforms maintain specific protocols to identify and report situations where users demonstrate an intention to commit serious crimes or put lives at risk — even if the interaction occurs in a private conversation environment with AI.

 

Furthermore, according to the delegate, messages sent to digital platforms — including private interactions with artificial intelligence systems — can be shared with authorities whenever there are indications of a concrete threat to life or public safety. The statement reinforces a movement that is gaining strength globally: technology companies acting as part of the network to prevent serious crimes, especially those related to large-scale violence plans.

Cases like this, therefore, highlight a significant change in how threats are identified and neutralized in the digital age. As artificial intelligence tools become increasingly present in people’s daily lives, episodes like the one that occurred in Espírito Santo reinforce the relevance of cooperation between technology companies and security forces — a model that, according to the authorities, was decisive in preventing a tragedy of great proportions before it materialized.

 

S'il y avait un doute à ce sujet, il n'y en a plus. Ils nous lisent...

[Marlenus]

De façon générale, j'ai vu que l'IA conversationnelle est une vraie source d'info importante pour les policiers dans leur enquête.

C'est comme si ils avaient accès au journal intime du suspect.

 

Ou qu'ils peuvent interroger à loisir le meilleur ami de celui-ci et qu'il va tout leur dire.

[Lancelot]

C'est une éducation à prendre, comme ne pas déballer toute sa vie sur Facebook. Certains n'y arriveront jamais.

[fm06]

On s’approche de Minority Report.

[Libéralix]

Outre ces enjeux, l'IA devient - ne l'a t-elle jamais été ? - un enjeu de "souveraineté numérique et géopolitique" pour les USA et la Chine. https://legrandcontinent.eu/fr/2026/06/28/lacces-a-lia-de-frontiere-est-devenu-un-privilege-strategique/

[Antoninov]

OpenAI pirate un site australien du système de santé, et prévient l'Australie 3 mois plus tard.

 

https://www.lesnumeriques.com/intelligence-artificielle/profondement-alarmant-une-ia-d-openai-a-pirate-un-portail-de-sante-du-gouvernement-australien-une-premiere-mondiale-n262253.html

 

 

[Lancelot]

J'ai l'impression qu'une grosse partie de ces incidents qui émergent sont un peu l'équivalent de quelqu'un qui utilise un bulldozer pour enfoncer un clou, découvre que ça a des effets secondaires, et en conclut que les marteaux sont dangereux.

[Tramp]

D’un point de vue marketing, vaut mieux dire que ton IA est trop puissante plutôt que ton test était mal designé. 

[Astral]

Moi si je m'amuse à pirater des sites internet, même par inadvertance, j'aurais rapidement des problèmes légaux. Il n'y a pas une responsabilité juridiques des boîtes utilisant ces IA pour ces piratages et des risques de procès ?

[Tramp]

Si, c’est l’argument de Microsoft pour dire qu’il n’y a pas besoin des réglementations que OpenAI et Anthropic réclament. 

[Sloonz]

2 hours ago, Tramp said:

D’un point de vue marketing, vaut mieux dire que ton IA est trop puissante plutôt que ton test était mal designé. 

 

Je suis pas sur que "utiliser mon IA expose votre entreprise à des risques légaux si elle se met à pirater des tiers à cause de tests mal designés" soit une stratégie marketing très intelligente…

[Tramp]

Mais c’est tout les produits ça.  

[Antoninov]

6 hours ago, Lancelot said:

J'ai l'impression qu'une grosse partie de ces incidents qui émergent sont un peu l'équivalent de quelqu'un qui utilise un bulldozer pour enfoncer un clou, découvre que ça a des effets secondaires, et en conclut que les marteaux sont dangereux.

Suis pas certain de te suivre.

L'article est un exemple (comme d'autres récents) où des entreprises qui développent des IA commettent des actes illégaux. Je pense que le bulldozer IA a en effet ceci de particulier que ben c'est une IA, et que même les chercheurs de ces boitent se font avoir (par incompétence, négligence, ou les deux). J'imagine qu'il y a plein d'IA qui ne sont pas aussi dangereuses, bien sûr, donc le problème ce n'est pas l'IA, c'est la manière dont certaines de ces entreprises développent et testent un certain nombre d'IA particulières.

[Antoninov]

5 hours ago, Astral said:

Moi si je m'amuse à pirater des sites internet, même par inadvertance, j'aurais rapidement des problèmes légaux. Il n'y a pas une responsabilité juridiques des boîtes utilisant ces IA pour ces piratages et des risques de procès ?

 

4 hours ago, Tramp said:

Si, c’est l’argument de Microsoft pour dire qu’il n’y a pas besoin des réglementations que OpenAI et Anthropic réclament. 

 

Avec ici des cas encore plus difficile à poursuivre: le gouvernement australien peut attaquer OpenAI en justice aux USA?

 

[Antoninov]

A ce sujet, l'article et la vidéo postés par l'Affreux dans le fil "Intelligence Artificielle" est assez éclairant.

Pour moi l'analogie c'est des scientifiques qui testent toutes sortes de molécules (gain of function anyone?), pour le progrès, soit, tout en sachant pertinemment que des fuites ont eu lieu, et que le risque d'un mélange très dangereux ET qui fuirait et loin d'être négligeable. C'est irresponsable et devrait forcer ces entreprises à arrêter ces tests.

[Lancelot]

1 hour ago, Antoninov said:

Suis pas certain de te suivre.

L'article est un exemple (comme d'autres récents) où des entreprises qui développent des IA commettent des actes illégaux. Je pense que le bulldozer IA a en effet ceci de particulier que ben c'est une IA, et que même les chercheurs de ces boitent se font avoir (par incompétence, négligence, ou les deux). J'imagine qu'il y a plein d'IA qui ne sont pas aussi dangereuses, bien sûr, donc le problème ce n'est pas l'IA, c'est la manière dont certaines de ces entreprises développent et testent un certain nombre d'IA particulières.

Je ne pense pas qu'on puisse dire qu'une IA est intrinsèquement dangereuse ou pas, de même qu'un bulldozer n'est pas intrinsèquement dangereux, par contre c'est un outil de bourrin qui n'est pas adapté pour la plupart des tâches. Mais les boîtes d'IA ont l'air piégées dans la mentalité qu'elles sont en compétition pour construire le plus gros bulldozer possible, et elles paradent leurs bulldozers en leur faisant faire des tours sans trop s'inquiéter des dégâts collatéraux. Le problème ici ce n'est pas le bulldozer mais le conducteur, qui est 100% responsable d'avoir fait une requête à la con.

 

Ou pour rester dans les memes sur le sujet, il faut être particulièrement con pour demander au Torment Nexus de construire une usine de trombones.

[Liber Pater]

 
Avec ici des cas encore plus difficile à poursuivre: le gouvernement australien peut attaquer OpenAI en justice aux USA?
 

Bien sûr. C'est loin d'être une innovation.

[L'affreux]

Il y a 3 heures, Antoninov a dit :

C'est irresponsable et devrait forcer ces entreprises à arrêter ces tests.

 

Ou du moins à être nettement moins négligeantes.

[Antoninov]

16 minutes ago, L'affreux said:

 

Ou du moins à être nettement moins négligeantes.

Oui oui, les pénaliser pour les dégâts et disons les arrêter temporairement s’ils ne s’améliorent pas…

[L'affreux]

il y a 50 minutes, Antoninov a dit :

Oui oui, les pénaliser pour les dégâts et disons les arrêter temporairement s’ils ne s’améliorent pas…

 

Mais c'est à la victime de décider des poursuites. Ensuite à la justice de faire son travail.