Intelligence artificielle

[L'affreux]

Le 18/07/2025 à 19:00, Alchimi a dit :

 

Quelques tirs.

Et une info intéressante d'après le bonhomme: statistiquement il y a (environ) 36% d'erreurs dans les réponses d'IA. Et les IA ayant de plus en plus affaire à du contenu généré par IA, leurs erreurs s'auto-entretiendrait, et le pourcentage d'erreur aurait augmenté, il cite un papier d'Open IA (si je ne me trompe pas) qui aurait communiqué sur le fait qu'ils se prennent 2% d'erreurs en plus. J'essaye de vous retrouver le timecode de cette intervention. A partir de 28:00. Et 32:10 très spécifiquement sur le papier d'open ia.

 

 

 

Haha! 😍

 

... Du coup je me cite parce que ça fait trop plaisir que quelqu'un ait fait l'effort d'expliquer l'évidence :

 

Le 19/07/2025 à 08:46, L'affreux a dit :

Finalement les interventions de Luc Julia sur l'intelligence artificielle valent celles d'Elon Musk, lequel, dans l'excès opposé, compare Grok 4 à des PhD : ce sont des mecs qui en imposent tellement qu'ils ne rencontrent pas de contradiction et parfois la conséquence c'est qu'ils racontent n'importe quoi. Leurs idées se feraient démonter dans n'importe quel débat avec des gens un minimum documentés, mais ils continuent de les croire parce qu'ils sont entourés de gens n'ayant pas leur stature.

 

EDIT: en fait le Luc Julia est une forme de con artiste taille nationale il n'est pas du tout de bonne foi haha ce n'est pas lui qui a fait Siri et il fait 3 conférences par semaine depuis peut-être des années avec son CV pipoté 😆 ! Du coup je comprends effectivement la comparaison avec Raoult que j'ai pu lire. On avait du mal à ne pas soutenir Raoult parce que en face les enfoirés auquel il s'opposait avaient arrêté le pays. Mais pourquoi ce sont des mecs de notre côté qui sont de tels charlatans ?

[fm06]

Beau travail.

[Tramp]

Il y a 10 heures, L'affreux a dit :

Mais pourquoi ce sont des mecs de notre côté qui sont de tels charlatans ?

On attire les complotistes qui sont un bon marché. 

[Johnnieboy]

Est-ce qu’on atteint un plateau quant aux capacités de l’IA ? 

[Rübezahl]

en fait, comme pour toute techno, à chaque avancée qualitative significative, on pousse cette avancée aussi loin qu'on peut quantitativement (c'est humain).

Et il s'avère de fait que certaines avancées qualitatives ont bien une asymptote en plateau. Donc on atteint un plateau pour cette branche.

... et puis crac, une autre avancée qualitative se pointe et nous emmène plus loin.

 

Bref, la branche actuelle de l'IA est probablement sur un plateau (loin d'être exploré ama), mais ça ne présage strictement rien sur le devenir de l'IA elle-même.

 

Et ama, il y a de quoi être optimiste, car même les outils actuels sont très très loin d'être essorés.

Même eux nous amèneront déjà beaucoup d'autres horizons.

[Lancelot]

12 hours ago, L'affreux said:

Haha! 😍

Je n'ai pas d'avis sur le fond de la question, mais j'ai un avis sur l'auteur de cette vidéo qu'on a voulu plusieurs fois refourguer sur le forum. Cet avis consiste en deux points : (1) je ne vais pas me taper une autre de ses productions, (2) je considère que par défaut sa position est dans la direction opposée à la plaque.

[Sloonz]

1 hour ago, Johnnieboy said:

Est-ce qu’on atteint un plateau quant aux capacités de l’IA ? 

 

Non. C'est quelque  chose qu’on entend depuis ChatGPT 3

 

https://metr.org/blog/2025-03-19-measuring-ai-ability-to-complete-long-tasks/

 

[fm06]

57 minutes ago, Lancelot said:

Je n'ai pas d'avis sur le fond de la question, mais j'ai un avis sur l'auteur de cette vidéo qu'on a voulu plusieurs fois refourguer sur le forum. Cet avis consiste en deux points : (1) je ne vais pas me taper une autre de ses productions, (2) je considère que par défaut sa position est dans la direction opposée à la plaque.

 

Je suis en vacances et j'ai pris le temps de regarder la vidéo.  Je résume les points essentiels, qui me semblent assez factuels.

1. Le chiffre de 64% ne repose pas sur "des millions de faits communément admis" comme l'affirme Julia, mais sur un benchmark de 20 à 30 cas de raisonnement.
2. L'article d'où vient ce chiffre date de 2023. Il a été fait avec ChatGPT 3.5 qui est complètement obsolète.
3. L'article récent de OpenAI mentionné par Julia et qui indique une dégradation de 2 points est introuvable.
4. La plupart des exemples utilisés par Julia pour illustrer les "incompétences" de l'IA sont dépassés.  La biographie de Victor Hugo est correcte; ChatGPT ne dit pas que la terre est plate quand on lui pose la questions; une Tesla en mode autonome est capable de traverser la place de l'Etoile.
5. Julia confond manifestement le nombre de paramètres des LLM la quantité de données utilisée pour les entrainer.
6. Julia a contribué à Siri, mais de manière très marginale.  Il n'a travaillé chez Apple que pendant 10 mois. Le présenter comme cocréateur de Siri est une grosse exagération.

 

[Rincevent]

il y a 34 minutes, fm06 a dit :

Julia a contribué à Siri, mais de manière très marginale.  Il n'a travaillé chez Apple que pendant 10 mois. Le présenter comme cocréateur de Siri est une grosse exagération.

C'est probablement là qu'est l'erreur dont découlent toutes les autres.

[F. mas]

Dans des domaines comme la technologie, la géopolitique ou l'économie, une petite industrie de l'expertise s'est développée auprès des pouvoirs publics. Celle-ci repose principalement sur la capacité à vulgariser les enjeux pour les journalistes et les décideurs politiques, qui, eux, sont souvent peu spécialisés, voire de moins en moins experts en quoi que ce soit. Cela crée de nombreuses incitations à la création d'instituts, de comités douteux, d'organismes de lobbying déguisés en entités scientifiques et de penseurs médiatiques pris exagérément au sérieux.

 

Mais heureusement, grâce à sa censure des réseaux sociaux, on peut imaginer que ces opérations de fact-checking populaires disparaissent et que l'expertise de ces trucs potemkine ne soit plus contestée à l'avenir (raisonnons deux minutes comme un macroniste).

[L'affreux]

Il y a 2 heures, Lancelot a dit :

Je n'ai pas d'avis sur le fond de la question, mais j'ai un avis sur l'auteur de cette vidéo qu'on a voulu plusieurs fois refourguer sur le forum. Cet avis consiste en deux points : (1) je ne vais pas me taper une autre de ses productions, (2) je considère que par défaut sa position est dans la direction opposée à la plaque.

 

C'est la première vidéo que je voyais de lui et elle est bien. Mais le résumé de @fm06 est suffisant.

 

J'ajouterais que si Luc Julia est autant à l'aise dans son discours et qu'il ne cherche pas ses mots c'est parce que à l'évidence il se répète depuis des années. Les mêmes idées, les mêmes remarques, les mêmes blagues, aux exclamations près. Ce n'est pas une conférence c'est un show et c'est rodé.

[Marlenus]

53 minutes ago, F. mas said:

 

Dans des domaines comme la technologie, la géopolitique ou l'économie, une petite industrie de l'expertise s'est développée auprès des pouvoirs publics. Celle-ci repose principalement sur la capacité à vulgariser les enjeux pour les journalistes et les décideurs politiques, qui, eux, sont souvent peu spécialisés, voire de moins en moins experts en quoi que ce soit.

Et la vente au grand public.

Le grand public adore les personnes qui savent vulgariser (et je reconnais que c'est une vraie qualité), or une des choses qui intéresse les politiques c'est de savoir vendre leur soupe au grand public.

[Rincevent]

il y a 54 minutes, F. mas a dit :

Mais heureusement, grâce à sa censure des réseaux sociaux, on peut imaginer que ces opérations de fact-checking populaires disparaissent et que l'expertise de ces trucs potemkine ne soit plus contestée à l'avenir (raisonnons deux minutes comme un macroniste).

Grâce à la censure d'une part, et d'autre part à la promotion d'instances de validation / de sourçage / de notation intellectuelles sorties du néant, financées par de l'argent magique et remplies de demi-habiles qui doivent jusqu'à leur existence à ce système mafieux (d'où leur loyauté fanatique) qui les fait passer pour de grosses têtes alors qu'ils ont simplement des corps de poulets et des allures de fins de race témoignant d'une dysgénie assez poussée. 

[Rübezahl]

https://www.bfmtv.com/tech/intelligence-artificielle/c-est-mon-ame-s-ur-une-femme-annonce-ses-fiancailles-avec-l-ia-grok_AV-202508120219.html

 

(Dites moi s'il y a un meilleur fil pour ce genre de news).

[L'affreux]

Il y a 1 heure, Rübezahl a dit :

https://www.bfmtv.com/tech/intelligence-artificielle/c-est-mon-ame-s-ur-une-femme-annonce-ses-fiancailles-avec-l-ia-grok_AV-202508120219.html

 

(Dites moi s'il y a un meilleur fil pour ce genre de news).

 

J'hésite entre le fou rire et le désespoir. En plus, un petit ami dans le cloud ce n'est même pas durable, son comportement changera à la prochaine mise à jour.

[Rübezahl]

Il y a 3 heures, L'affreux a dit :

J'hésite entre le fou rire et le désespoir.

Moi aussi.
... et d'après l'article ce n'est pas le seul cas.
 

Citation

 

Wika n'est pas la seule à entretenir des relations avec un chatbot. Sa publication a justement été publiée sur le forum Reddit "MyBoyfriendisAI", qui regroupe plus de 13.000 membres.

Les relations avec les IA se multiplient

En début d'année, une Américaine de 28 ans a par exemple expliqué être tombée amoureuse de ChatGPT, le voyant comme son petit ami et parlant des heures avec lui chaque jour. En juin dernier, un homme de 35 ans a été abattu par la police. L'Américain était animé d'un désir de vengeance incontrôlable contre Sam Altman, estimant que sa petite amie virtuelle, ChatGPT, avait été "assassinée".

 

Les fadas trouvent tous les jours de nouvelles niches.

[Marlenus]

Ce n'est guère surprenant.

C'est même très humain.

 

Que la personne soit une IA, un brouteur ou juste un(e) ami(e) qui te friendzone, le mécanisme est le même.

Tu as de l'attention et une personne dont tu crois qu'elle te comprends, tu es matrixé pour en devenir amoureux.

Savoir prendre de la distance avec ça est loin d'être à la portée de tout le monde.

Et je ne parle pas de ceux qui tombent amoureux d'une célébrité et qui vont la stalker.

.

 

Et sinon, les "mariages" avec des "être virtuels", c'est assez ancien.

En 2018, une société japonaise en faisait 3700 par an.

 

https://www.20minutes.fr/insolite/2370767-20181113-japon-homme-35-ans-marie-hologramme-chanteuse-virtuelle

 

Quote

L’entreprise qui a remis le certificat de mariage a célébré près de 3.700 « unions » de ce genre…

 

 

Maintenant au moins ils emm.... personne ceux là.

[Alchimi]

Moi je veux bien qu'on démonte qui on veut et ses propos, mais ce qui m'intéresse c'est des contre-arguments raisonnés à ce qu'avance Julia à propos de l'IA. Ses propos étant assez construits et, ni catastrophistes, ni masturbatoires, comme je le vois à peu prés partout ailleurs, pour l'instant il remporte mon intérêt pour son coté no bullshit-pieds sur terre.

 

Les vidéos tombant dans l'attaque ad hominem du bonhomme ne font que me faire penser qu'on est dans le knee-jerk émotionnel stupide des deux camps, les "j'ai peur de l'IA c'est armageddon qui arrive§§!" et les "l'IA est l'outil ultime et c'est le jugement dernier transcendant singularité attrape-couillon qui arrive§§!" qui étrangement viennent hurler de concert parce qu'en face on a un discours qui dit "c'est un super outil mais ça ne reste qu'un outil".

[L'affreux]

il y a 52 minutes, Alchimi a dit :

ce qui m'intéresse c'est des contre-arguments raisonnés à ce qu'avance Julia

 

Bah, ce mec est une blague. Enfin reprenons les arguments :

  

Le 18/07/2025 à 19:00, Alchimi a dit :

statistiquement il y a (environ) 36% d'erreurs dans les réponses d'IA.

 

Le contre-argument "raisonné" est que statistiquement les IA ne font pas 36% d'erreurs.

 

Le 18/07/2025 à 19:00, Alchimi a dit :

un papier d'Open IA (si je ne me trompe pas) qui aurait communiqué sur le fait qu'ils se prennent 2% d'erreurs en plus.

 

Le contre-argument à ceci est que le papier est introuvable.

[Alchimi]

il y a une heure, Alchimi a dit :

l'attaque ad hominem

 

il y a 19 minutes, L'affreux a dit :

Bah, ce mec est une blague.

 

 

il y a 19 minutes, L'affreux a dit :

Le contre-argument "raisonné" est que statistiquement les IA ne font pas 36% d'erreurs.

On peut ou tomber dans la discussion de chiffonnier sur les % d'erreur de l'IA, et donc ergo reconnaitre qu'elles en font (problème 1) ou soutenir qu'elles n'en font aucune (probleme 2).

 

il y a 19 minutes, L'affreux a dit :

Le contre-argument à ceci est que le papier est introuvable.

Quelques secondes de recherche sur le net:

https://futurism.com/the-byte/openai-research-best-models-wrong-answers

 

(Note que c'est mes propres mots en parlant de "papier").

 

Edit: Après je persiste: le sujet qui m’intéresse c'est les hallucinations de l'IA, leur évolution dans le temps, la pertinence et le réalisme de parler d'IA "généraliste" et etc.

Les vapeurs émotionnelles je m'en moque.

[L'affreux]

il y a 5 minutes, Alchimi a dit :

Quelques secondes de recherche sur le net:

https://futurism.com/the-byte/openai-research-best-models-wrong-answers

 

Ça ne parle pas des 2%. Ce n'est pas le papier qu'il cite. (je te rassure, je me suis restreint au même temps passé que toi)

[L'affreux]

 J'ai trouvé cette vidéo intéressante :

 

 

La vidéo est en anglais mais François Chollet est français, il travaille sur des tests appelés ARC pour distinguer ce qu'est l'intelligence. et ce qui ne l'est pas. Il explique que l'intelligence humaine est une combinaison de deux choses :

1. La mémorisation et reconnaissance de patterns ;
2. Ce qu'il appelle l'intelligence fluide, c'est-à-dire la capacité à raisonner de manière abstraite, généraliser à partir de très peu d'exemples, s'adapter de façon flexible à des situations nouvelles et inhabituelles.

Les IA génératives commencent à être performantes dans la première catégorie.

[Alchimi]

il y a 10 minutes, L'affreux a dit :

 

Ça ne parle pas des 2%. Ce n'est pas le papier qu'il cite.

https://cdn.openai.com/pdf/2221c875-02dc-4789-800b-e7758f3722c1/o3-and-o4-mini-system-card.pdf

 

Page 4, paragraphe 3.3, "hallucination rate"

 

(trouvé via https://www.newscientist.com/article/2479545-ai-hallucinations-are-getting-worse-and-theyre-here-to-stay/ )

[L'affreux]

il y a 1 minute, Alchimi a dit :

https://cdn.openai.com/pdf/2221c875-02dc-4789-800b-e7758f3722c1/o3-and-o4-mini-system-card.pdf

 

Page 4, paragraphe 3.3

 

(trouvé via https://www.newscientist.com/article/2479545-ai-hallucinations-are-getting-worse-and-theyre-here-to-stay/ )

 

Je ne vois pas les 2%. Ni le lien qu'il fait avec les 64%. Et d'ailleurs si Luc Julia est de bonne foi il donnera simplement ses sources pour éviter de passer pour un charlatan.

Après, on pourrait parler des hallucinations et effectivement c'est un sujet. Sauf qu'il faudra lancer le débat avec quelque chose d'autre que Luc Julia sinon en tout cas moi le commentaire que j'ai c'est juste "il ne mérite pas notre attention".

[L'affreux]

 

Voilà l'épisode suivant. 🍿

 

J'ai regardé car j'aime le spectacle. Luc Julia ne regrette rien, ne concède rien alors qu'il est mis devant l'évidence, on en connait des comme ça. Les journalistes sont partisans pour Luc Julia et le répètent régulièrement.

 

C'est très, très bien joué de la part de M. Phi de rappeler d'emblée que Luc Julia a dit n'avoir pas vu sa vidéo. Comme Luc ne sait manifestement pas accepter d'avoir tort, ça transforme cette vidéo en une arme qu'il peut citer abondamment sans que Luc puisse l'attaquer puisqu'il n'est pas censé l'avoir vue. Très fort.

 

 

 

[cedric.org]

Cette personne, Phi, est insupportable de suffisance. J'ai craqué à 7 minutes. 

[Rincevent]

Il y a 3 heures, cedric.org a dit :

Cette personne, Phi, est insupportable de suffisance. J'ai craqué à 7 minutes. 

Trop de philosophie analytique rend tête-à-claques.

[Cthulhu]

Le responsable des lunettes Meta chez Ray-Ban s'appelle Rocco Basilico. Ça commence à se voir qu'on vit dans une simulation

 

Pour ceux qui n'ont pas la référence.

[Daumantas]

Médaille d'or pour Gemini lors d'une compétition informatique de niveau universitaire

En mécanique des fluides, optimisation de solutions

N'ayant pas une formation d'ingénieur (et un assez mauvais niveau en programmation), je ne sais pas à quel point c'est impressionnant mais le système sous-jacent (notamment dans le second cas avec un aspect RL + symbolique) semble prometteur.

[L'affreux]

Il y a 5 heures, Daumantas a dit :

Médaille d'or pour Gemini lors d'une compétition informatique de niveau universitaire

En mécanique des fluides, optimisation de solutions

N'ayant pas une formation d'ingénieur (et un assez mauvais niveau en programmation), je ne sais pas à quel point c'est impressionnant mais le système sous-jacent (notamment dans le second cas avec un aspect RL + symbolique) semble prometteur.

 

Peut-être qu'il faudrait que je retente voir ce que donne Gemini pour coder mais la dernière fois que j'ai testé c'était catastrophique. C'est une chose d'être bon durant le concours, ç'en est une autre de l'être en situation réelle.