Sloonz

Je ne vois pas pourquoi tu présentes ceci comme un fait étonnant. C’est le principe de la répartition ; les cotisations sont distribuées et non pas investies ; comment veux tu du rendement sans investir ?

Je suis pas sur que "utiliser mon IA expose votre entreprise à des risques légaux si elle se met à pirater des tiers à cause de tests mal designés" soit une stratégie marketing très intelligente…

Je dirai 1. différence de culture ; le domaine biologie/médical a toujours vu l’éhtique comme un enjeu (après les squelettes dans le placard comme les expériences humaines des nazis, l’eugénisme, le domaine a développé une culture de "les questions éthiques ne sont pas secondaires — cf par exemple https://en.wikipedia.org/wiki/Asilomar_Conference_on_Recombinant_DNA : ce n’est pas l’état qui a décidé de réguler, ça s’est fait volontairement), tandis que la tech s’est toujours vue "neutre, un simple outil, ce que les gens en font ne regardent qu’eux et 2. différence d’environnement de régulation (~néant pour la tech, hyper-régulé pour le médical)". Avec les points 1 et 2 qui tendent à se renforcer l’un et l’autre.

Ha oui, ça c'est tout à fait volontaire

Défini "comportement voulu" ? Je sais pas, tu veux que ton IA réponde comment à un "fuck you" ? Si t’es un manager dans un service clientèle (avec des agents humains), mis en face d’un tel transcript et on te demande "c’est un comportement voulu ?", tu réponds quoi ? Le plus proche d’une définition "officielle" du "comportement voulu", c’est https://www.anthropic.com/constitution Je pense qu’on est raisonnablement dans une situation où la réponse "Undefined Behavior" est acceptable ? "Si l’utilisateur a dirigé la conversation par là, on sait pas bien comment notre IA va répondre et à dire vrai on s'en fiche, ça fait pas partie des trajectoires de conversation qui nous intéressent et sur lesquelles on va investir du temps d’ingénieur".

C’est pas la même pour l’IA non plus, si c’était littéralement le cas la distillation des modèles ne marcherait pas.

Non, absolument pas. 4/5 ordres de grandeur avec "ce qui se fait de plus lent" (j’ai aucune idée de ce que tu veux dire par là, mais mettons 100 ms) ça t'envoie à 1000-10k secondes, des dizaines de minutes/heures. https://starlink.com/legal/documents/DOC-1470-99699-90 indique 100 ms dans les pire cas. On est sur le même ordre de grandeur que la 5G, peut être 2-3x plus lent, ce qui n’est absolument pas un problème pour la majorité des applications type ChatGPT/agents. C'est pas les DC le problème, c'est les centrales pour fournir l’énergie au DC.

Elon Musk l’a sous-entendu très très fort dans son interview chez Dwarkesh Patel : essentiellement de ne pas être bloqué par des règles administratives/environnementales/etc à la con. On s'en bat les steak pour l’IA de la latence edge <-> DC (sauf potentiellement pour des usages type robotique/VLA, mais dans ce cas on pousse la partie critique on-device de toute façon). Le gros des échanges de données se font à l’intérieur du DC, et même au sein du même rack.

La réponse est oui. Dario Amodei dans son interview chez Dwarkesh Patel a très bien expliqué la dynamique : sur son cycle de vie entier, tout modèle jusqu’ici a été profitable. Autrement dit : Sonnet 3.5 a été profitable. Opus 4.0 aussi. Et ainsi de suite. Simplement, chaque modèle demande de plus en plus d’investissements, et les bénéfices du modèle (n-1) sont utilisés pour lever encore plus de fonds pour créer le modèle (n) — avec levier (et ainsi de suite). D’où, comptablement, l’impression de gouffre financier. De multiple lignes vont dans la même direction. Le coût d’inférence des plus gros modèles open-source sont probablement représentatifs au moins en termes d’ordre de grandeur de ceux des modèles proprio, et si l’on compare avec le prix d’utilisation d’API, la marge par token est très juteuse, compatible avec les différents leaks (de 40% à 70% de marge brute). Autrement dit : cette page est débile. Ça compare un investissement aujourd’hui qui est fait dans l’esprit de payer sur le long terme avec les revenus d’aujourd’hui. Une bonne partie de ce "spend" c’est du capex pour construire des datacenter, avec des amortissements en termes d’années/décennies. C’est un peu comme dire "tu as acheté pour 100€ d’actions, tu as reçu 5€ de dividendes, t’es vraiment trop con, t’es très largement dans le rouge".

Mhhh ? Non ? OAI a sorti cette raison pour GPT-2. Principalement parce que OpenAI était en terrain complètement inconnu et préférait la prudence (inquiétude quant au fait que le modèle puisse être utilisé pour générer de la propagande/désinformation en masse). Aucun autre modèle à ma connaissance n’a été retardé pour cette raison. À l’inverse, Opus 4.6 _aurait_ dû être retardé pour cette raison (dans la politique de sécurité d’Anthropic, un modèle ne peut être sorti que si les évaluations internes permettent de prouver qu’un modèle n’est pas dangereux, et Opus 4.6 n’a pas passé cette barre, mais Anthropic a décidé de sortir le modèle quand même).

Un peu longue, mais j’aime bien celle là : "you are trying to solve the wrong problem using the wrong methods based on a wrong model of the world derived from poor thinking and unfortunately all of your mistakes have failed to cancel out"

Tu confonds S-I et S. Tu confonds S-I et S. Tu confonds S-I et S Toute personne qui comprend un minimum comment fonctionne l’économie plutôt que de se perdre dans ses propres équations. Si je gagne plus que je dépense, j’épargne (S). Ce que je met sur un quelconque compte d’épagne. Qui se retrouve investit chez un autre acteur privé (I), ou dans le déficit public (G-T) ou l'investissement à l'extérieur (M-X). Rien, absolument rien, dans cette image, ne dit "une réduction du déficit public nécessite une réduction de S". Rien, absolument rien, dans cette image, dit "une augmentation de S nécessite une augmentation du déficit public". Tu peux avoir une appétence à l'épargne infinie, un déficit public de 0, une balance commerciale de 0, et ton équation marche toujours. Ça veut juste dire que l’investissement est national et privé plutôt que public/extérieur. C’est comme ça que la dynamique d’épargne et d’investissement a toujours été comprise par les économistes, depuis Adam Smith, peut être plus tôt : c’est l’épargne privée nourissant l’investissement privé qui permet le progrès économique. La balance commerciale et le déficit public ont toujours eu un rôle secondaire, de figurant, dans cette exposition. Cette image "pas d’épargne sans déficit public/commercial" est absurde. Au même niveau que 0=1. Elle signifie qu’une nation anarchique et autarcique ne peut logiquement pas épargner. Note que rien dans la théorie ne nécessite cette distinction en trois domaines "public/privé/étranger", c’est un choix purement arbitraire (c’est également arbitraire en pratique : pour "national/étranger", tu mets la frontière à la France ou à l’Union Européenne ? pourquoi ?). Tu peux, du coup, par exemple, effacer la distinction privée/publique et effacer les frontières. L’équation sera toujours vraie, et se résumera à S-I=0. Si tu en conclus "l’épargne globale est donc impossible", tu ne comprends même pas ta propre théorie : S-I=0 n’implique pas S=I=0.

Très bearish sur l’idée, personnellement. Déjà, je pense que tu as mal compris l’idée. La distinction n’est pas texte vs audio/image (s’il parle tant d’images, c’est que JEPA est bien plus compliqué à formuler dans le domaine linguistique, mais probablement pas impossible). De 1, la plupart des modèles actuels sont déjà multimodaux au moins en entrée, et l’idée de "image-only, pour le texte on met l’image d’un texte", ce n’est pas JEPA, c’est DeepSeek OCR (qui comme son nom ne l’indique pas n’est pas un OCR, suivez un peu au fond de la salle !). De 2, sa notion de "world model" est abstraite, il s’agit d’avoir une représentations abstraite (de bien plus faible dimension) des données d’entrées. Il est très très fortement conjecturé (essentiellement admis) que tout réseau de neurone développe "automatiquement"/"implicitement" un "world model"/représentation latente. JEPA veut simplement rendre cette étape explicite et contrôlable, au lieu d’être laissée à la merci du processus d’entraînement. Si je suis bearish, c’est que l’expérience montre qu’entraîner un modèle de bout en bout marche généralement mieux que de "découper" en "composants" de manière subtile (et la seule raison valable de ne pas le faire est que c’est trop cher/trop demandant en puissance de calcul). Il y a quelques exceptions à cette règle, mais elles se font rares. On est déjà certains/quasi-certains que les modèles ont déjà un world model. Le pari de LeCun c’est qu’il peut coder une version quasiment explicite (dans le sens où il définit explicitement l’objectif de cette étape de représentation), et en tirer un énorme gain. Je suis dubitatif sur les deux points.

J’ai effectivement inversé une négation dans ce que je voulais dire Je n’ai pas dit "que". J’ai explicitement dit qu’il y avait probablement une bonne dose de vrai racisme dans le tas. Je dis juste qu’il n’y a pas que le vrai racisme, et cet autre est un développement positif.

Tu n’es pas obligé de répondre si tu n’as pas tout lu, parce que j’aborde explicitement la question et la distinction.