Sloonz

Je dirai 1. différence de culture ; le domaine biologie/médical a toujours vu l’éhtique comme un enjeu (après les squelettes dans le placard comme les expériences humaines des nazis, l’eugénisme, le domaine a développé une culture de "les questions éthiques ne sont pas secondaires — cf par exemple https://en.wikipedia.org/wiki/Asilomar_Conference_on_Recombinant_DNA : ce n’est pas l’état qui a décidé de réguler, ça s’est fait volontairement), tandis que la tech s’est toujours vue "neutre, un simple outil, ce que les gens en font ne regardent qu’eux et 2. différence d’environnement de régulation (~néant pour la tech, hyper-régulé pour le médical)". Avec les points 1 et 2 qui tendent à se renforcer l’un et l’autre.

Ha oui, ça c'est tout à fait volontaire

Défini "comportement voulu" ? Je sais pas, tu veux que ton IA réponde comment à un "fuck you" ? Si t’es un manager dans un service clientèle (avec des agents humains), mis en face d’un tel transcript et on te demande "c’est un comportement voulu ?", tu réponds quoi ? Le plus proche d’une définition "officielle" du "comportement voulu", c’est https://www.anthropic.com/constitution Je pense qu’on est raisonnablement dans une situation où la réponse "Undefined Behavior" est acceptable ? "Si l’utilisateur a dirigé la conversation par là, on sait pas bien comment notre IA va répondre et à dire vrai on s'en fiche, ça fait pas partie des trajectoires de conversation qui nous intéressent et sur lesquelles on va investir du temps d’ingénieur".

C’est pas la même pour l’IA non plus, si c’était littéralement le cas la distillation des modèles ne marcherait pas.

Non, absolument pas. 4/5 ordres de grandeur avec "ce qui se fait de plus lent" (j’ai aucune idée de ce que tu veux dire par là, mais mettons 100 ms) ça t'envoie à 1000-10k secondes, des dizaines de minutes/heures. https://starlink.com/legal/documents/DOC-1470-99699-90 indique 100 ms dans les pire cas. On est sur le même ordre de grandeur que la 5G, peut être 2-3x plus lent, ce qui n’est absolument pas un problème pour la majorité des applications type ChatGPT/agents. C'est pas les DC le problème, c'est les centrales pour fournir l’énergie au DC.

Elon Musk l’a sous-entendu très très fort dans son interview chez Dwarkesh Patel : essentiellement de ne pas être bloqué par des règles administratives/environnementales/etc à la con. On s'en bat les steak pour l’IA de la latence edge <-> DC (sauf potentiellement pour des usages type robotique/VLA, mais dans ce cas on pousse la partie critique on-device de toute façon). Le gros des échanges de données se font à l’intérieur du DC, et même au sein du même rack.

La réponse est oui. Dario Amodei dans son interview chez Dwarkesh Patel a très bien expliqué la dynamique : sur son cycle de vie entier, tout modèle jusqu’ici a été profitable. Autrement dit : Sonnet 3.5 a été profitable. Opus 4.0 aussi. Et ainsi de suite. Simplement, chaque modèle demande de plus en plus d’investissements, et les bénéfices du modèle (n-1) sont utilisés pour lever encore plus de fonds pour créer le modèle (n) — avec levier (et ainsi de suite). D’où, comptablement, l’impression de gouffre financier. De multiple lignes vont dans la même direction. Le coût d’inférence des plus gros modèles open-source sont probablement représentatifs au moins en termes d’ordre de grandeur de ceux des modèles proprio, et si l’on compare avec le prix d’utilisation d’API, la marge par token est très juteuse, compatible avec les différents leaks (de 40% à 70% de marge brute). Autrement dit : cette page est débile. Ça compare un investissement aujourd’hui qui est fait dans l’esprit de payer sur le long terme avec les revenus d’aujourd’hui. Une bonne partie de ce "spend" c’est du capex pour construire des datacenter, avec des amortissements en termes d’années/décennies. C’est un peu comme dire "tu as acheté pour 100€ d’actions, tu as reçu 5€ de dividendes, t’es vraiment trop con, t’es très largement dans le rouge".

Mhhh ? Non ? OAI a sorti cette raison pour GPT-2. Principalement parce que OpenAI était en terrain complètement inconnu et préférait la prudence (inquiétude quant au fait que le modèle puisse être utilisé pour générer de la propagande/désinformation en masse). Aucun autre modèle à ma connaissance n’a été retardé pour cette raison. À l’inverse, Opus 4.6 _aurait_ dû être retardé pour cette raison (dans la politique de sécurité d’Anthropic, un modèle ne peut être sorti que si les évaluations internes permettent de prouver qu’un modèle n’est pas dangereux, et Opus 4.6 n’a pas passé cette barre, mais Anthropic a décidé de sortir le modèle quand même).

Un peu longue, mais j’aime bien celle là : "you are trying to solve the wrong problem using the wrong methods based on a wrong model of the world derived from poor thinking and unfortunately all of your mistakes have failed to cancel out"

Tu confonds S-I et S. Tu confonds S-I et S. Tu confonds S-I et S Toute personne qui comprend un minimum comment fonctionne l’économie plutôt que de se perdre dans ses propres équations. Si je gagne plus que je dépense, j’épargne (S). Ce que je met sur un quelconque compte d’épagne. Qui se retrouve investit chez un autre acteur privé (I), ou dans le déficit public (G-T) ou l'investissement à l'extérieur (M-X). Rien, absolument rien, dans cette image, ne dit "une réduction du déficit public nécessite une réduction de S". Rien, absolument rien, dans cette image, dit "une augmentation de S nécessite une augmentation du déficit public". Tu peux avoir une appétence à l'épargne infinie, un déficit public de 0, une balance commerciale de 0, et ton équation marche toujours. Ça veut juste dire que l’investissement est national et privé plutôt que public/extérieur. C’est comme ça que la dynamique d’épargne et d’investissement a toujours été comprise par les économistes, depuis Adam Smith, peut être plus tôt : c’est l’épargne privée nourissant l’investissement privé qui permet le progrès économique. La balance commerciale et le déficit public ont toujours eu un rôle secondaire, de figurant, dans cette exposition. Cette image "pas d’épargne sans déficit public/commercial" est absurde. Au même niveau que 0=1. Elle signifie qu’une nation anarchique et autarcique ne peut logiquement pas épargner. Note que rien dans la théorie ne nécessite cette distinction en trois domaines "public/privé/étranger", c’est un choix purement arbitraire (c’est également arbitraire en pratique : pour "national/étranger", tu mets la frontière à la France ou à l’Union Européenne ? pourquoi ?). Tu peux, du coup, par exemple, effacer la distinction privée/publique et effacer les frontières. L’équation sera toujours vraie, et se résumera à S-I=0. Si tu en conclus "l’épargne globale est donc impossible", tu ne comprends même pas ta propre théorie : S-I=0 n’implique pas S=I=0.

Très bearish sur l’idée, personnellement. Déjà, je pense que tu as mal compris l’idée. La distinction n’est pas texte vs audio/image (s’il parle tant d’images, c’est que JEPA est bien plus compliqué à formuler dans le domaine linguistique, mais probablement pas impossible). De 1, la plupart des modèles actuels sont déjà multimodaux au moins en entrée, et l’idée de "image-only, pour le texte on met l’image d’un texte", ce n’est pas JEPA, c’est DeepSeek OCR (qui comme son nom ne l’indique pas n’est pas un OCR, suivez un peu au fond de la salle !). De 2, sa notion de "world model" est abstraite, il s’agit d’avoir une représentations abstraite (de bien plus faible dimension) des données d’entrées. Il est très très fortement conjecturé (essentiellement admis) que tout réseau de neurone développe "automatiquement"/"implicitement" un "world model"/représentation latente. JEPA veut simplement rendre cette étape explicite et contrôlable, au lieu d’être laissée à la merci du processus d’entraînement. Si je suis bearish, c’est que l’expérience montre qu’entraîner un modèle de bout en bout marche généralement mieux que de "découper" en "composants" de manière subtile (et la seule raison valable de ne pas le faire est que c’est trop cher/trop demandant en puissance de calcul). Il y a quelques exceptions à cette règle, mais elles se font rares. On est déjà certains/quasi-certains que les modèles ont déjà un world model. Le pari de LeCun c’est qu’il peut coder une version quasiment explicite (dans le sens où il définit explicitement l’objectif de cette étape de représentation), et en tirer un énorme gain. Je suis dubitatif sur les deux points.

J’ai effectivement inversé une négation dans ce que je voulais dire Je n’ai pas dit "que". J’ai explicitement dit qu’il y avait probablement une bonne dose de vrai racisme dans le tas. Je dis juste qu’il n’y a pas que le vrai racisme, et cet autre est un développement positif.

Tu n’es pas obligé de répondre si tu n’as pas tout lu, parce que j’aborde explicitement la question et la distinction.

Bon, on va essayer de la faire plus lentement. L’intérêt de la liberté d’expression et du débat, que tu sois en démocratie ou en dans un groupe plus spécifique, est de résoudre les désaccords sans avoir recours à la violence, la menace ou l’intimidation. J’espère que nous sommes d’accord que c’est la manière correcte d’aborder des désaccords en démocratie. Pour des raisons qui vont au delà de "je me méfie de la légitimité de l’état à décreter la vérité", telles que "réprimer les désaccords ne les font pas disparaitre, au contraire". Un groupe plus restreint a effectivement un outil supplémentaire que la démocratie n’a pas : l’exclusion, plus (expulsion/radiation) ou moins ("ne pas se faire sentir bienvenu") formelle. La question pour ce groupe se pose donc "dois-je utiliser ce outil ?". Et généralement, la réponse peut effectivement très bien être "oui". Par exemple : si un communiste un peu bête se perd par erreur au sein du Parti Mileiste, ne pas le faire se sentir le bienvenu, voire de l’éjecter s’il se à changer l’Internationale Communiste pendant une opération de distribution de tracts. Il y a des cas ou la réponse est évidemment "non" (tout ce qui relève des débats internes ordinaires). Mais maintenant, suppose que c’est n’est plus un communiste perdu. Tu as 30% de tes membres actifs, qui paient leurs cotisations, qui distribuent des tracts, et qui, après des décennies de « culture du boycott » où tu cries haut et fort qu’ils n’ont rien à faire là… continuent de rester chez toi, et de répondre « je pense que l’URSS est un modèle d’inspiration » dans tes sondages internes. Et bien, à ce moment là, la décision "est-ce qu’il faut les exclure" ou "est-ce qu’il faut discuter pour au moins comprendre" est belle et bien représentative de ton état d’esprit « libéral » / « illibéral » de vertu du débat. Note bien « état d’esprit », pas « principes légaux ». Je ne dis pas qu’il devrait être illégal pour la dite organisation d’exclure, du point de vue du libéralisme au sens strict (liberté de discriminer, tout ça… oups, c’est raciste ça, non ?), je dis juste ce positionnement instinctif (« commençons par les écouter ») est à priori représentatif d’un état d’esprit plus général d’acceptation du débat, qui est l’état d’esprit correct pour un citoyen en démocratie, et pour un parti politique responsable en démocratie. Et je me réjouis de voir que cet état d’esprit est a priori toujours vivant, en tout cas dans ce sondage. Ou tout du moins, pas complètement mort. Parce que ça devient difficile, aujourd’hui, de trouver des gens qui défendent cet état d’esprit ; l’époque est bien plus à "la liberté d’expression n’est pas une garantie que vos paroles seront sans conséquences", dit sur un ton mafieux. Et je n’ai jamais dit qu’il n’y avait pas de réelle augmentation d’un antisémitisme affiché ? Je dis essentiellement « Cheh, comme disent les jeunes ». Oui, quand tu fais taire une opinion pendant des décennies, ça ne l’efface pas pour autant (au contraire : ça donne des arguments à ceux qui la défendent en chuchotant, et empêche un débat permettant d’y répondre), et quand tu commences à relâcher la pression, la situation explose. Pikachu face (ou plutôt : Gorbachev face ? Je crois que ce grand homme aurait quelques idées à partager sur ce sujet…). Un peu comme si la liberté d’expression avait l’intérêt de ne pas casser le thermomètre, qui l’eut cru ? Tu as beau dire « non je ne dis pas que la censure c’est bien », de mon point de vue tu réagis comme un socialisme qui dit « voyez ? les capitalistes sont des profiteurs sans âme et le capitalisme affâme les masses au nom du profit » quand le contrôle des prix donne lieu à une pénurie. Non, je refuse de donner crédit à ce point de vue. Oui, capitalisme + contrôle des prix = pénurie. La conclusion correcte est « le contrôle des prix est une idée de merde », pas « les capitalistes sont trop trop méchants » . Oui, liberté d’expression + antisémitisme latent = montée de l’antisémitisme affiché. Pourquoi on avait autant d’antisémitisme latent exactement en premier lieu ? Pardon ? Dans ma réalité, utiliser les termes "fasciste", "nazi", "antisémite" (qui sont utilisés grosso-modo comme synonymes) sont une arme rhétorique extrêment répandue pour intimider/mettre sur la défensive son adversaire et mettre fin au débat, sur le plus léger des prétextes. Je veux dire, dans encore un autre fil, on a eu Mélenchon (et Dieu sait que je hais le personnage, et à quel point je hais l’arc actuel de l’histoire qui fait tout pour essayer de me le rendre sympathique) qui s’est fait houspiller par l’ensemble de la classe politique et journalistique pour son "Epstaïn". Tu vas me dire : c’était ouvertement de la provocation, comme Mélenchon aime bien le faire. Je répondrai : il cherche à provoquer quoi, sinon cette réaction d’appeler "antisémitisme" tout et n’importe quoi, pour fermer le débat, dont tu sembles nier l’existence ? Je note qu’il est quasiment impossible de produire une telle réaction pour autre chose que "antisémite" ou autre cousin extrêmement proche ("raciste", "fasciste", "nazi", pendant un temps "libéral" en france, mais celui-ci est redevenu respectable, ou tout du moins toléré). Ok, j’ai une mauvaise nouvelle pour toi. Se dire contre le racisme est de plus en plus un truc de boomer wokiste, oui. Je note ce phénomène entre autre dans les cercles libertariens (ce qui explique également en partie les résultats de ce sondage). Très exactement pour cette raison, que la droite, et même le centre, a remarqué que ce terme "racisme" était maintenant avant tout une arme rhétorique pour fermer le débat. Ce qui est une constatation objectivement vraie. "S’opposer aux aides sociales est raciste, parce que les principaux bénéficiaires sont des colorés. Vous seriez pas un peu racistes sur les bords, vous autres libertariens ?". Tu peux ensuite tortiller du cul pendant 20 minutes de manière pas convaincante "non mais mvoyez en fait je suis pas vraiment raciste" "c'est exactement ce qu’un raciste dirait". Ou tu peux dire "si c'est le sens que vous donnez à racisme, alors oui je suis raciste". La seconde manière est l’unique façon (à ma connaissance) de combattre cette arme rhétorique. Oui, cette contre-mesure est extrêmement dommageable à bien des niveaux. On en revient à « ne pas débattre n’importe comment, les normes de débat sont importantes ». Dans un monde idéal, cette arme rhétorique aurait été désarmée depuis longtemps par des normes de débat interdisant son utilisation (à l’instant où il devenat évident que c’était un mécanisme d’intidimation… ai-je déjà dit que la liberté d’expression n’était pas qu’un idéal légaliste, mais un état d’esprit à avoir ?), et personne n’aurait eu à dire "alors oui je suis raciste". Nous ne vivons pas dans un monde idéal. Et il y a certainement un piège « vous devenez le masque que vous portez », où adopter cette contre-stratégie conduit à embracer le réel racisme. Malheureusement, j’observe également ce phénomène dans les cercles libertariens. Que cela nous mène vers de moins en moins de libéralisme, c’est possible. Je n’en serai pas autant certain, si cela permet à la gauche libérale de sortir du trou où ces artifices rhétoriques l’ont enterrée (qu’est-ce qui empêche les voix à gauche qui défendent l’économie de marché de gagner en influence, à votre avis ? le débat rationnel et de bonne foi ? lol). Mais le libéralisme a de toute façon été abandonné à l’instant où l’on a accepté la légitimité de fermer le débat à l’aide de tels artifices rhétoriques.

Je l’oublie pas, c’est ce que j’essaie d’expliquer en version longue