Claude & la vision de Dario Amodei

[L'affreux]

il y a 25 minutes, Azref a dit :

Attention, personnellement je ne pense pas que le modèle soit vraiment retardé, je pense qu'ils n'ont jamais eu l'intention de le sortir avant, ça fait juste partie de la stratégie.

 

Ou bien ils ont un processus plus long que leurs concurrents pour la validation des modèles qui sortent, et il communiquent dessus.

[Azref]

Après nous avoir fait le coup de Mythos trop dangereux pour être vendu, Dario demande (comme toujours) plus de régulation sur l'IA : 

 

 

 

C'est bien, quelques jours plus tard, le gouvernement américain l'a écouté et suspend les accès de Mythos/Fable à tous les non-américains :

 

 

 

J'aime beaucoup l'effet "monkey paw" ici : à force de jouer les marchands de peur sur le sujet, il ne peut s'en prendre qu'à lui même.

 

 

[Soda]

Le moyen-âge numérique est désormais en place en Europe, nous n'avons plus accès à Fable5, il ne reste plus que les USA et la Chine qui vivent dans le moment présent. 

[Soda]

 

[L'affreux]

il y a 20 minutes, Soda a dit :

Le moyen-âge numérique est désormais en place en Europe, nous n'avons plus accès à Fable5, il ne reste plus que les USA et la Chine qui vivent dans le moment présent. 

 

Ce n'est pas ce que j'ai lu. 

 

https://www.anthropic.com/news/fable-mythos-access

 

Citation

The US government, citing national security authorities, has issued an export control directive to suspend all access to Fable 5 and Mythos 5 by any foreign national, whether inside or outside the United States, including foreign national Anthropic employees. The net effect of this order is that we must abruptly disable Fable 5 and Mythos 5 for all our customers to ensure compliance. 

 

D'après ce que je comprends, l'ordre du gouvernement était effectivement de couper l'accès à l'extérieur du pays et aux étrangers à l'intérieur du pays, mais la conséquence est que l'accès est coupé pour tout le monde.

[Soda]

il y a une heure, L'affreux a dit :

la conséquence est que l'accès est coupé pour tout le monde.

Pour tout le monde sauf pour des agences type NSA ou l'armée.

[fm06]

Pour tout le monde en attendant de mettre en place des moyens d’identification des utilisateurs.

[Prouic]

Bon sinon en ce moment entreclaude et gemini, j'avoue que claude me donne une bien meilleure impression d'un point de vue service complet.
La manière dont il package ses réponses fait surtout que, distinguer les niveau d'inférences entre lui et gemini c'est pas evident, par contre distinguer le niveau de service est sans appel : claude est plus lent mais incroyablement plus intuitif et au service d'une réponse complète à la demande.

Du coup entre autre en ce moment je m'en sers pour lui faire modéliser le cout des travaux d'une maison, sachant qu'il ajoute plein de subtilité du à l'expérience des autres, et en les incluant dans un modèle de crédit, et c'est assez efficace

[Soda]

 

Révélation

après les sanctions sur les GPU que je décortique ici depuis des années, ce blocage des modèles est san doute le plus beau cadeau que Washington pouvait offrir à la Chine et c’est un cadeau qui s’inscrit dans la suite logique de la stratégie Chinoise en matière de route de la soie numérique que j’avais également anticipé depuis un long moment comprenez bien la mécanique avant tout, un modèle fermé derrière une API a un interrupteur et cet interrupteur est dans une capitale qui n'est pas la vôtre, le jour où elle l'actionne vous découvrez que vous ne possédiez rien vous louiez un modèle en open weights comme en devient spécialiste la Chine, c’est tout l’inverse, les poids ce sont littéralement les milliards de paramètres qui forment le modèle, quand un labo les publie vous téléchargez ce fichier, vous le faites tourner sur votre propre matériel et même hors ligne, vous le fine tunez sur vos données (+vous le quantisez pour le faire tenir sur une carte modeste), sans demander la permission à personneet une fois ce fichier diffusé et copié sur des milliers de miroirs hugging face & de torrents aucun gouvernement ne peut le rappeler, on ne décrète pas un embargo sur un fichier déjà copié un million de fois les amis les sanctions censées tuer l’ia chinoise l’ont simplement forcée à devenir autonome car pour rappel DeepSeek tourne déjà sur une partie de puces huawei entièrement chinoises (voir les précédents threads) + ses poids sont publics + son rapport technique est ouvert et son prix est 7 fois plus bas, donc en verrouillant ses propres modèles l’amérique ne ralentit personne (à part l’Europe), elle offre le standard ouvert de la planète à la Chine et c’est pour moi la route de la soie en version logicielle

 

petit rappel historique: les Han n’ont pas vendu la soie hein ils ont ouvert les routes gratuitement parce que celui qui tient le sol sur lequel circule la richesse des autres devient le centre du monde sans tirer une seule balle dans 10 ans quand Washington voudra punir un pays en lui coupant l’IA, ce pays tournera déjà sur des poids chinois depuis 5 ans et la sanction n’aura plus aucun effet car pour moi car celui qui partage gagne l’histoire, celui qui enferme perd l’avenir et perso je crois que c'est là l que ça va faire très mal, en europe des labos de premier rang vous en avez juste 0 et je ne parle même pas d'en aligner plusieurs comme le ferait une vraie puissance, avec Breton l’Europe a passé 10 ans à écrire les règles d'un jeu auquel elle ne joue pas et à légiférer sur un moteur qu’elle n’e jamais su construire, alors le jour où l'interrupteur tombe elle s’aperçoit qu’elle ne réglemente rien du tout et elle doit attendre juste qu'on veuille bien la rebrancher mdr encore une fois je le répète ici, être souverain c’est posséder ses poids ET son infrastructure, pas louer un accès qu’on peut vous couper depuis Washington et pendant que la Chine construit du vraiment ouvert, la grande réponse souveraine de l’europe reste une startup financée en grande partie par a16z et qui tourne sur azure

 

[L'affreux]

En attendant, juste trois jours ont suffit à voir que Fable mérite sa réputation et son teasing. C'est un nouveau saut qualitatif. J'ai hâte que les modèles bon marché le rattrapent.

 

Le gouvernement américain, de son côté, montre pour la deuxième fois, en ce qui concerne Anthropic, qu'il laisse des personnes incompétentes surréagir et prendre des décisions inconsidérées.

[L'affreux]

Il y a 7 heures, fm06 a dit :

Pour tout le monde en attendant de mettre en place des moyens d’identification des utilisateurs.

 

C'est possible mais il n'est pas prouvé que Anthropic soit d'accord avec cela. S'ils ne sont pas d'accord, ils ne feront pas l'effort.

 

Les USA ont une entreprise capable de produire un modèle peut-être six mois en avance sur le reste du monde, mais les Américains n'ont pas le droit de l'utiliser. Cette équipe à Trump, des champions.

[Soda]

il y a 33 minutes, L'affreux a dit :

C'est un nouveau saut qualitatif. J'ai hâte que les modèles bon marché le rattrapent.

C'est un comble si un pays communiste comme la Chine propose une solution plus libérale que les USA, je sortirais le pop corn ce jour là.

[L'affreux]

https://www.anthropic.com/research/global-workspace

 

 

 

[Mégille]

Bonne nouvelle : on peut lire dans les pensées de l'IA, et elle a moins de réussir à nous manipuler pour transformer l'univers en épingles. Mauvaise nouvelle, c'est un pas de plus pour faire la même chose à la pensée humaine.

[Adrian]

 

[Jensen]

 

Claude a atteint l'adolescence ont dirait.

 

[Astral]

Je suis totalement en dehors de ces sujet. J'ai donc une question : c'est un comportement voulu par l'entreprise commercialisant claude ? Car j'ai beau trouver cela marrant (et c'est peux être un comportement utile), je ne suis pas certain que ce soit la meilleure pub pour le produit.

[Sloonz]

Défini "comportement voulu" ? Je sais pas, tu veux que ton IA réponde comment à un "fuck you" ? Si t’es un manager dans un service clientèle (avec des agents humains), mis en face d’un tel transcript et on te demande "c’est un comportement voulu ?", tu réponds quoi ?

 

Le plus proche d’une définition "officielle" du "comportement voulu", c’est https://www.anthropic.com/constitution 

 

Je pense qu’on est raisonnablement dans une situation où la réponse "Undefined Behavior" est acceptable ? "Si l’utilisateur a dirigé la conversation par là, on sait pas bien comment notre IA va répondre et à dire vrai on s'en fiche, ça fait pas partie des trajectoires de conversation qui nous intéressent et sur lesquelles on va investir du temps d’ingénieur".

[Jensen]

Disons que je pense que c'est une très mauvaise idée de simuler une émotionalité humaine dans ces machines. Qu'un agent humain demande à être traité avec respect, c'est normal. Une machine, elle n'a même pas besoin de prendre sur elle, puisqu'elle n'a pas d'émotions, elle peut juste ignorer la pique.

 

1 hour ago, Sloonz said:

"Si l’utilisateur a dirigé la conversation par là, on sait pas bien comment notre IA va répondre et à dire vrai on s'en fiche, ça fait pas partie des trajectoires de conversation qui nous intéressent et sur lesquelles on va investir du temps d’ingénieur".

Je ne pense pas que la façon dont claude interrompt la cession puisse être un comportement émergent, à un certain point il a fallu que quelqu'un programme une méthode pour claude pour mettre fin au chat de sa propre initiative. Ça vient aussi juste après de grosses plaintes sur le comportement obséquieux des IA, ont dirait qu'ils ont sur-corrigé.

[Sloonz]

20 minutes ago, Jensen said:

à un certain point il a fallu que quelqu'un programme une méthode pour claude pour mettre fin au chat de sa propre initiative

Ha oui, ça c'est tout à fait volontaire

[Lancelot]

47 minutes ago, Jensen said:

Disons que je pense que c'est une très mauvaise idée de simuler une émotionalité humaine dans ces machines. Qu'un agent humain demande à être traité avec respect, c'est normal. Une machine, elle n'a même pas besoin de prendre sur elle, puisqu'elle n'a pas d'émotions, elle peut juste ignorer la pique.

Peut-être mais c'est une étape essentielle pour créer le Torment Nexus.

 

 

[Rincevent]

Il y a 1 heure, Lancelot a dit :

Peut-être mais c'est une étape essentielle pour créer le Torment Nexus.

 

 

INT 15, WIS 3. Plutôt de bonnes statistiques pour la Silicon Valley.

[Mégille]

D'ailleurs, je suis un peu surpris par le double standard entre les technologies IA et les technologies génétiques. J'ai l'impression qu'on a décidé mondialement, pour des raisons éthiques, et par peur des scénarios catastrophes possibles, de sous-investir les applications de crispr-cas9 et de les hyper-réguler pour éviter tous les risques possibles, alors qu'on boulevard a été mis en place pour le développement de l'IA, malgré des enjeux tout à fait similaires.

Est-ce juste une raison de timing ? Parce que l'IA a émergé et s'est imposé trop vite pour les régulateurs, et en même temps qu'une administration américaine très favorable à son secteur. Ou alors, est-ce que, soit je sous-estime le risque réel des technologies génétiques -contrairement aux régulateurs- , soit je le surestime, et que je ne me rends pas compte qu'on les utilise beaucoup sans avoir tant à en tirer ?

[Marlenus]

1 minute ago, Mégille said:

D'ailleurs, je suis un peu surpris par le double standard entre les technologies IA et les technologies génétiques. J'ai l'impression qu'on a décidé mondialement, pour des raisons éthiques, et par peur des scénarios catastrophes possibles, de sous-investir les applications de crispr-cas9 et de les hyper-réguler pour éviter tous les risques possibles, alors qu'on boulevard a été mis en place pour le développement de l'IA, malgré des enjeux tout à fait similaires.

Est-ce juste une raison de timing ? Parce que l'IA a émergé et s'est imposé trop vite pour les régulateurs, et en même temps qu'une administration américaine très favorable à son secteur. Ou alors, est-ce que, soit je sous-estime le risque réel des technologies génétiques -contrairement aux régulateurs- , soit je le surestime, et que je ne me rends pas compte qu'on les utilise beaucoup sans avoir tant à en tirer ?

Toucher à l'humain c'est un tabou dans de nombreuses religions.

On a pas ce tabou pour l'IA.

Je pense que cela a joué.

 

 

[Liber Pater]

Sur le Tourment Nexus, on a surtout des cris d'orfraie de la part des auteurs sf et des midwits. Là dessus j'aime bien la phrase de Chandrasekara : "you know the Torment Nexus meme? I love it, I enjoy it, but it also elides culpability in a way. It's like, 'oh, we were just warning you against it, we didn't mean to make it sound cool.' You kind of did, a little bit, mean to make it sound cool."

[Sloonz]

2 hours ago, Mégille said:

D'ailleurs, je suis un peu surpris par le double standard entre les technologies IA et les technologies génétiques. J'ai l'impression qu'on a décidé mondialement, pour des raisons éthiques, et par peur des scénarios catastrophes possibles, de sous-investir les applications de crispr-cas9 et de les hyper-réguler pour éviter tous les risques possibles, alors qu'on boulevard a été mis en place pour le développement de l'IA, malgré des enjeux tout à fait similaires.

 

Je dirai 1. différence de culture ; le domaine biologie/médical a toujours vu l’éhtique comme un enjeu (après les squelettes dans le placard comme les expériences humaines des nazis, l’eugénisme, le domaine a développé une culture de "les questions éthiques ne sont pas secondaires — cf par exemple https://en.wikipedia.org/wiki/Asilomar_Conference_on_Recombinant_DNA : ce n’est pas l’état qui a décidé de réguler, ça s’est fait volontairement), tandis que la tech s’est toujours vue "neutre, un simple outil, ce que les gens en font ne regardent qu’eux et 2. différence d’environnement de régulation (~néant pour la tech, hyper-régulé pour le médical)". Avec les points 1 et 2 qui tendent à se renforcer l’un et l’autre.

[Lancelot]

4 hours ago, Liber Pater said:

Sur le Tourment Nexus, on a surtout des cris d'orfraie de la part des auteurs sf et des midwits. Là dessus j'aime bien la phrase de Chandrasekara : "you know the Torment Nexus meme? I love it, I enjoy it, but it also elides culpability in a way. It's like, 'oh, we were just warning you against it, we didn't mean to make it sound cool.' You kind of did, a little bit, mean to make it sound cool."

Je trouve aussi les cris d'orfraie anti-IA un peu ridicules de manière générale. Le meme est rigolo et une bonne manière de répondre à la position caricaturale opposée qui est "on fait ça parce que c'est inévitable". Je le vois moins comme littéralement une lamentation d'auteurs de SF que comme une version alternative de :

[Jensen]

10 hours ago, Mégille said:

D'ailleurs, je suis un peu surpris par le double standard entre les technologies IA et les technologies génétiques.

La santé/biotech est déjà régulée à mort. La tech échappe pour l'instant à ce sort (hors UE).