-
Compteur de contenus
2 553 -
Inscription
-
Dernière visite
-
Jours gagnés
5
-
Tu confonds deux problèmes, le problème de l’alignement interne, et le problème de "la plupart pris un peu au pif des objectifs sont léthaux". Ton "objection" redécouvre le problème de l’alignement interne. L’entraînement "en boite noire" (gradient descent/algos génétiques/RL… tout ce qu’on connait) donne pour résultat une IA qui "apprend" des objectifs qui ne sont pas l’objectif donné, fortement correlés avec l’objectif donné dans le contexte de l’entrainement, sans aucune garantie hors contexte. L’illustration usuelle est ce qu’il s’est passé avec la sélection naturelle : l’objectif (point de vue sélection naturelle) est de "maximiser la reproduction", une espèce "découvre" l’intelligence et découple de plus en plus fortement son environnement de l’environnement initial, et quelques dizaines de millier d’années plus tard tu te retrouves avec des singes plus évolués qui se retrouvent à apprécier et poursuivre par exemple… la musique. Un objectif qui semble aléatoire vis-à-vis de l’objectif premier. De même, une IA entrainée sur l’objectif X se retrouvera à poursuivre des objectifs (initialement, mais de moins en moins) correlés Y, où Y semble "aléatoire", comme par exemple au pif des trombones. "Trombone" ici veut juste dire "l’objectif inconnu et aléatoire". Si jamais l’IA veut "tricher" pour un autre Z, substitue "trombone" pour "Z". Ce n’est pas important. Yudowsky a mis 2 ans et ~1 million de mots pour exposer ces problématiques autour de 2010, et malgré ça il y a toujours des incompréhensions. Je ne dis pas ça pour critiquer/me moquer, je dis ça pour pointer que le sujet est (trompeusement) subtil. Ceci est une incompréhension commune (dans laquelle je suis moi-même tombé) (si vous voulez une tentative de mettre ces 1 millions en un livre plus accessible au grand public, la référence c’est https://ifanyonebuildsit.com/) Le problème n’a jamais été "l’IA ne comprend pas ce qu’on veut" ou "l’IA ne comprend pas ce qu’on veut d’elle", mais "l’IA sait totalement ce qu’on veut d’elle, sait mieux que nous ce qu’on devrait (d’après nos propres valeurs) vouloir d’elle (problème de l’alignement externe), mais veut autre chose" (problème de l’alignement interne) (quoi autre chose ? "aléatoire", de la même manière que de manière que des singes se sont retrouvés à vouloir certaines vibrations étranges et très spécifiques dans l’air. Par exemple, des trombones)
-
Non, l’objectif de l’expérience de pensée est de montrer que (presque aucun) objectif "aléatoire" (pris au pif, comme par exemple : produire le maximum de trombones) n’est anodin. Si ton objectif est littéralement de maximiser le nombre de trombones, alors tout watt d’énergie/gramme de matière utilisé à autre chose (comme par exemple, celle utilisée par l’humanité) est du point de vue de l’IA un gaspi à éliminer et à mettre à meilleur usage (plus de trombones). Le mot clef est instrumental convergence.
-
Non, absolument pas. Tu mélanges plusieurs expériences de pensées et arguments ensemble. Cf https://intelligence.org/2018/02/28/sam-harris-and-eliezer-yudkowsky/ (je réitère un vieux MP, si ces questions t’intéressent, il y a un groupe ACX sur Lyon qui discute de tout ça de manière aléomatadaire)
-
Je ne vois pas pourquoi tu présentes ceci comme un fait étonnant. C’est le principe de la répartition ; les cotisations sont distribuées et non pas investies ; comment veux tu du rendement sans investir ?
-
Je suis pas sur que "utiliser mon IA expose votre entreprise à des risques légaux si elle se met à pirater des tiers à cause de tests mal designés" soit une stratégie marketing très intelligente…
-
Claude & la vision de Dario Amodei
Sloonz a répondu à un sujet de L'affreux dans Intelligence artificielle
Je dirai 1. différence de culture ; le domaine biologie/médical a toujours vu l’éhtique comme un enjeu (après les squelettes dans le placard comme les expériences humaines des nazis, l’eugénisme, le domaine a développé une culture de "les questions éthiques ne sont pas secondaires — cf par exemple https://en.wikipedia.org/wiki/Asilomar_Conference_on_Recombinant_DNA : ce n’est pas l’état qui a décidé de réguler, ça s’est fait volontairement), tandis que la tech s’est toujours vue "neutre, un simple outil, ce que les gens en font ne regardent qu’eux et 2. différence d’environnement de régulation (~néant pour la tech, hyper-régulé pour le médical)". Avec les points 1 et 2 qui tendent à se renforcer l’un et l’autre. -
Claude & la vision de Dario Amodei
Sloonz a répondu à un sujet de L'affreux dans Intelligence artificielle
Ha oui, ça c'est tout à fait volontaire -
Claude & la vision de Dario Amodei
Sloonz a répondu à un sujet de L'affreux dans Intelligence artificielle
Défini "comportement voulu" ? Je sais pas, tu veux que ton IA réponde comment à un "fuck you" ? Si t’es un manager dans un service clientèle (avec des agents humains), mis en face d’un tel transcript et on te demande "c’est un comportement voulu ?", tu réponds quoi ? Le plus proche d’une définition "officielle" du "comportement voulu", c’est https://www.anthropic.com/constitution Je pense qu’on est raisonnablement dans une situation où la réponse "Undefined Behavior" est acceptable ? "Si l’utilisateur a dirigé la conversation par là, on sait pas bien comment notre IA va répondre et à dire vrai on s'en fiche, ça fait pas partie des trajectoires de conversation qui nous intéressent et sur lesquelles on va investir du temps d’ingénieur". -
C’est pas la même pour l’IA non plus, si c’était littéralement le cas la distillation des modèles ne marcherait pas.
-
Non, absolument pas. 4/5 ordres de grandeur avec "ce qui se fait de plus lent" (j’ai aucune idée de ce que tu veux dire par là, mais mettons 100 ms) ça t'envoie à 1000-10k secondes, des dizaines de minutes/heures. https://starlink.com/legal/documents/DOC-1470-99699-90 indique 100 ms dans les pire cas. On est sur le même ordre de grandeur que la 5G, peut être 2-3x plus lent, ce qui n’est absolument pas un problème pour la majorité des applications type ChatGPT/agents. C'est pas les DC le problème, c'est les centrales pour fournir l’énergie au DC.
-
Elon Musk l’a sous-entendu très très fort dans son interview chez Dwarkesh Patel : essentiellement de ne pas être bloqué par des règles administratives/environnementales/etc à la con. On s'en bat les steak pour l’IA de la latence edge <-> DC (sauf potentiellement pour des usages type robotique/VLA, mais dans ce cas on pousse la partie critique on-device de toute façon). Le gros des échanges de données se font à l’intérieur du DC, et même au sein du même rack.
-
La réponse est oui. Dario Amodei dans son interview chez Dwarkesh Patel a très bien expliqué la dynamique : sur son cycle de vie entier, tout modèle jusqu’ici a été profitable. Autrement dit : Sonnet 3.5 a été profitable. Opus 4.0 aussi. Et ainsi de suite. Simplement, chaque modèle demande de plus en plus d’investissements, et les bénéfices du modèle (n-1) sont utilisés pour lever encore plus de fonds pour créer le modèle (n) — avec levier (et ainsi de suite). D’où, comptablement, l’impression de gouffre financier. De multiple lignes vont dans la même direction. Le coût d’inférence des plus gros modèles open-source sont probablement représentatifs au moins en termes d’ordre de grandeur de ceux des modèles proprio, et si l’on compare avec le prix d’utilisation d’API, la marge par token est très juteuse, compatible avec les différents leaks (de 40% à 70% de marge brute). Autrement dit : cette page est débile. Ça compare un investissement aujourd’hui qui est fait dans l’esprit de payer sur le long terme avec les revenus d’aujourd’hui. Une bonne partie de ce "spend" c’est du capex pour construire des datacenter, avec des amortissements en termes d’années/décennies. C’est un peu comme dire "tu as acheté pour 100€ d’actions, tu as reçu 5€ de dividendes, t’es vraiment trop con, t’es très largement dans le rouge".
-
Claude & la vision de Dario Amodei
Sloonz a répondu à un sujet de L'affreux dans Intelligence artificielle
Mhhh ? Non ? OAI a sorti cette raison pour GPT-2. Principalement parce que OpenAI était en terrain complètement inconnu et préférait la prudence (inquiétude quant au fait que le modèle puisse être utilisé pour générer de la propagande/désinformation en masse). Aucun autre modèle à ma connaissance n’a été retardé pour cette raison. À l’inverse, Opus 4.6 _aurait_ dû être retardé pour cette raison (dans la politique de sécurité d’Anthropic, un modèle ne peut être sorti que si les évaluations internes permettent de prouver qu’un modèle n’est pas dangereux, et Opus 4.6 n’a pas passé cette barre, mais Anthropic a décidé de sortir le modèle quand même). -
Un peu longue, mais j’aime bien celle là : "you are trying to solve the wrong problem using the wrong methods based on a wrong model of the world derived from poor thinking and unfortunately all of your mistakes have failed to cancel out"
-
Tu confonds S-I et S. Tu confonds S-I et S. Tu confonds S-I et S Toute personne qui comprend un minimum comment fonctionne l’économie plutôt que de se perdre dans ses propres équations. Si je gagne plus que je dépense, j’épargne (S). Ce que je met sur un quelconque compte d’épagne. Qui se retrouve investit chez un autre acteur privé (I), ou dans le déficit public (G-T) ou l'investissement à l'extérieur (M-X). Rien, absolument rien, dans cette image, ne dit "une réduction du déficit public nécessite une réduction de S". Rien, absolument rien, dans cette image, dit "une augmentation de S nécessite une augmentation du déficit public". Tu peux avoir une appétence à l'épargne infinie, un déficit public de 0, une balance commerciale de 0, et ton équation marche toujours. Ça veut juste dire que l’investissement est national et privé plutôt que public/extérieur. C’est comme ça que la dynamique d’épargne et d’investissement a toujours été comprise par les économistes, depuis Adam Smith, peut être plus tôt : c’est l’épargne privée nourissant l’investissement privé qui permet le progrès économique. La balance commerciale et le déficit public ont toujours eu un rôle secondaire, de figurant, dans cette exposition. Cette image "pas d’épargne sans déficit public/commercial" est absurde. Au même niveau que 0=1. Elle signifie qu’une nation anarchique et autarcique ne peut logiquement pas épargner. Note que rien dans la théorie ne nécessite cette distinction en trois domaines "public/privé/étranger", c’est un choix purement arbitraire (c’est également arbitraire en pratique : pour "national/étranger", tu mets la frontière à la France ou à l’Union Européenne ? pourquoi ?). Tu peux, du coup, par exemple, effacer la distinction privée/publique et effacer les frontières. L’équation sera toujours vraie, et se résumera à S-I=0. Si tu en conclus "l’épargne globale est donc impossible", tu ne comprends même pas ta propre théorie : S-I=0 n’implique pas S=I=0.
