IA, alignement et sécurité

[cedric.org]

On 6/26/2023 at 1:25 PM, cedric.org said:

100 millions pour tout développer et maintenir et opérer. Pour un modèle un poil plus petit, les H100 permettent d'entraîner un modèle équivalent à chatGPT 3 pour 50k€, de ce que je lisais.

C'est tout frais : https://blogs.nvidia.com/blog/2023/06/27/generative-ai-debut-mlperf/

Quote

In a new industry-standard benchmark, a cluster of 3,584 H100 GPUs at cloud service provider CoreWeave completed a massive GPT-3-based benchmark in just 11 minutes.

À l'achat ça fait 40000€ * 3,584 (sans compter toute l'infra) = 143 360 000, avec l'infra probablement 200 millions.

 

Cependant en cloud, ça fait 5 euros de l'heure le H100 payé à la minute, donc ça fait 3300 euros, avec l'infra qui va avec ça doit faire 5000 euros. C'est absolument démentiel.

[Prouic]

https://arxiv.org/pdf/2402.11753.pdf

 

Comment hack la sécu de l'IA avec du ASCII art ...