Pourquoi maintenant ?

[Bézoukhov]

Une question un peu concon, mais je n'arrive pas exactement à comprendre pourquoi de multiples applications impressionnantes de l'IA sont arrivées en même temps à maturité suite au "buzz" chat GPT.

 

Algorithmiquement, et du point de vue infra, tout existait déjà depuis quelques années. Alors soit c'est que les investissements faits vers 2016/2017 ont tous eu un temps de développement à peu près identique, soit il y a un autre truc que je ne comprends pas.

[Mathieu_D]

Just now, Bézoukhov said:

, soit il y a un autre truc que je ne comprends pas.

Regarde l'évolution du leaderbioard des llm sur huggingface.

 

C'est pas pour rien que Google, meta et open.ai ont admis qu'ils ne pourraient pas lutter contre l'Open Source. ( https://www.semianalysis.com/p/google-we-have-no-moat-and-neither )

 

Ça va vraiment très vite là.

[Bézoukhov]

Mmmmh ; je ne suis pas / plus assez le domaine pour capter ;). C'est quoi le truc nouveau ?

[Mathieu_D]

7 hours ago, Bézoukhov said:

Mmmmh ; je ne suis pas / plus assez le domaine pour capter ;). C'est quoi le truc nouveau ?

chatGPT et les LLM des gros (Bard, llama) se sont fait dépenser au ranking des LLM par l'Open Source en quelques semaines.

 

(Pour autant moi non plus je ne pensais pas que c'était si différent des architectures des transformers et des bert-like.)

[AX-poulpe]

Ca a l'air intéressant ces réponses, je vais demander à ChatGPT de me les traduire en français

[Calembredaine]

il y a 3 minutes, AX-poulpe a dit :

Ca a l'air intéressant ces réponses, je vais demander à ChatGPT de me les traduire en français

Haha, je n'ai rien compris non plus et pourtant j'ai un abonnement ChatGPT 😀

Et le pauvre @Bézoukhov n'aura pas eu sa réponse (qu'il me plairait également de lire, je me pose la même question).

Ceci dit, je teste régulièrement les alternatives à chatGPT et je suis toujours déçu, la concurrence n'arrive pas à la cheville de GPT4. Ce qui me laisse à penser que les annonces tonitruantes suite à la mis en lumière du pionnier, ne sont que de la poudre aux yeux et que rien n'est vraiment au point.

[Lancelot]

12 hours ago, Mathieu_D said:

https://www.semianalysis.com/p/google-we-have-no-moat-and-neither

 

Quote

Large models aren’t more capable in the long run if we can iterate faster on small models

[...]

Data quality scales better than data size

 

Pour répondre à la question, je pense en effet que l'évolution technique est assez linéaire sans vraie révolution (il y a des trucs comme Google DeepDream ou AI Dungeon qui existent depuis depuis des années), et que cette impression est surtout due au fait que la technologie est soudainement devenue assez mature (en termes de résultats, de facilité d'utilisation...) pour que le public lambda la comprenne/s'y intéresse.

[Bézoukhov]

Il y a 11 heures, Lancelot a dit :

l'évolution technique est assez linéaire

 

Il y a 11 heures, Lancelot a dit :

ue la technologie est soudainement devenue assez mature

 

C'est là où mon cerveau devient limité.

Par contre, en y réfléchissant, un truc assez probable est qu'avec la remontée des taux, les mecs qui financent les équipes de dev IA leur ont dit : bon maintenant, faut arrêter de me promettre du cash dans 10 ans ; je veux que ça livre un truc qui se vend, et de préférence dans six mois.

[Lancelot]

44 minutes ago, Bézoukhov said:

C'est là où mon cerveau devient limité.

Les deux ne sont pas opposés, une fonction linéaire finira par passer un seuil même sans changer de dérivée. Après il peut y avoir des effets de feedback où on voit que ça commence à intéresser des gens > on investit plus dans la recherche et la pub > de plus en plus de gens sont intéressés etc.

[Rübezahl]

Toutes ces bestioles sont nourries avec des data.

Il est aussi possible que le 1° franchissement de seuil se soit passé de ce coté là.

[Vilfredo]

J'ai trouvé cette vidéo bien faite (comme souvent sur cette chaîne). Si vous avez des choses à dire, je serais curieux de lire, donc voilà:

 

[Bézoukhov]

TLTW ?

[Vilfredo]

Je vais bien réussir à faire cliquer ceux qui regardent Lex Friedman.

[Marlenus]

5 minutes ago, Bézoukhov said:

TLTW ?

Mon ami google ne connait pas cet acronyme.

 

[Vilfredo]

Too long to watch je suppose. J'ai le souvenir que le forum était sur un consensus plutôt "rassuriste" sur l'IA.

[Marlenus]

Just now, Vilfredo said:

Too long to watch je suppose

Ben je l'ai déjà posté et j'ai bien aimé donc

 

 

J'ai même pas remarqué que c'était toi qui l'avait posté, j'ai pensé à une remonté:

 

[Vilfredo]

Ah oui, désolé, je n'ai pas vérifié si qqn l'avait pas déjà postée parce qu'elle est récente.

@Bézoukhov par ailleurs les scénarios qu'il imagine, je m'en fous un peu, ce qui m'intéresse c'est env les 10 premières minutes (le "constat")

[Bézoukhov]

il y a 6 minutes, Vilfredo a dit :

Too long to watch je suppose.

 

Oui, ça serait juste sympa d'avoir un résumé d'une phrase .

[Tu me diras, je pourrais utiliser chatgpt pour le faire...]

[Vilfredo]

Ok ok

• On ne peut pas exclure que l'IA détruise l'humanité, et pas mal de gens sérieux ont l'air de craindre ça autant qu'une pandémie ou une catastrophe nucléaire
• On ne peut pas (facilement) imaginer une intelligence supérieure à la nôtre (j'ai envie de demander si l'imaginabilité est un bon guide pour la possibilité, mais c'est de la philo et c'est pas vraiment le sujet)
  • Analogie: les chimpanzés/les humains//les humains/une AGI (TIL)
  • (Analogie un peu bancale au passage: les chimpanzés n'ont pas engineered les humains)
• Quelques idées intéressantes pour éviter <point n°1>: question de l'efficacité de la régulation internationale (on est sur liborg donc lol, mais il donne l'exemple (qui a l'air d'avoir fonctionné) du ban sur le clonage), possibilité que Terminator soit juste trop cher à utiliser, possibilité d'un blocage technique qui empêche, en fait, qu'une IA crée une IA et ainsi de suite (scénario 'foom', apparemment la même chose que ce que bibi connaissait sous le nom de 'singularité'), ou, à l'inverse, d'un scénario moins épique que foom, mais qui mène quand même à une super-intelligence (sans boucle d'engendrement quasi-instantané), possibilité d'une 'cohabitation pacifique' avec les IAs (du coup pas des superintelligences, juste des AGIs).

 

Donc pas un résumé d'une phrase. En même temps tu me demandes ça à moi

[Vilfredo]

Ah et non, à ma connaissance, chatgpt ne résume pas des vidéos. Il te demande de résumer la vidéo, et te propose de résumer ton résumer. Je pourrais lui demander de résumer mes posts du coup. Pour le bien public des cerveaux des yeux des lecteurs du forum.

[frl]

2 minutes ago, Vilfredo said:

Ah et non, à ma connaissance, chatgpt ne résume pas des vidéos. Il te demande de résumer la vidéo, et te propose de résumer ton résumer. Je pourrais lui demander de résumer mes posts du coup. Pour le bien public des cerveaux des yeux des lecteurs du forum.

Sisi, avec le petit plugin qui va bien, il le fait :-)

[Vilfredo]

Le truc qui m'intéresse le plus dans le scénario catastrophe, c'est qu'il est littéralement basé sur une erreur d'interprétation (le scénario des trombones de Bostrom), plus précisément sur des considérations très philosophiques sur ce qui compte comme suivre (ou appliquer) telle ou telle règle (rule following). Comment exclure à l'avance  (comme le souligne le youtubeur, on n'a qu'une seule chance) telle ou telle interprétation possible de tel ordre, telle règle ou de tel bit of code? Est-ce possible avec un humain? Est-ce possible avec une IA?

 

Kripke we miss u

https://en.wikipedia.org/wiki/Wittgenstein_on_Rules_and_Private_Language

[Bézoukhov]

il y a 30 minutes, Vilfredo a dit :

On ne peut pas (facilement) imaginer une intelligence supérieure à la nôtre

 

Mmmmh. J'ai croisé assez de majors d'entrée à l'ENS entre ma terminale et ma fin de prépa pour me dire que je peux carrément l'imaginer .

 

il y a 30 minutes, Vilfredo a dit :

On ne peut pas exclure que l'IA détruise l'humanité, et pas mal de gens sérieux ont l'air de craindre ça autant qu'une pandémie ou une catastrophe nucléaire

 

En même temps, on ne peut pas exclure que <* X *> détruise l'Humanité est vrai pour à peu près tous les <* X *> imaginables.

 

il y a 31 minutes, Vilfredo a dit :

du coup pas des superintelligences, juste des AGIs

 

Je vois la problématique globale. Mais fondamentalement, il me semble y avoir deux scénarios :

1. Soit on reste dans le cadre des AGIs. Il y a, comme dans tout sujet d'ingénierie, des risques, mais je ne pense pas que l'on sorte radicalement de la computer science telle qu'elle existe depuis un petit siècle. Il y aura sûrement des adaptations, et compagnie ; à la fin, on devrait tout de même être capables d'atteindre les niveaux de sécurité des logiciels d'avionique ;
2. Soit on rentre dans un nouveau monde, avec un un truc qui n'est plus une AGI. Et la différence entre ce truc et l'AGI, je suis contraint de le laisser à la main des philosophes. J'aurais tendance à l'appeler "conscience" (ou quelque chose du même ordre). A priori, c'est toujours de la science-fiction.

[Marlenus]

On peut ajouter:

 

-Beaucoup pensent que pouvoir contrôler une IA est utopique.

(Voir comment certains rigolo ont permis de rendre des IA racistes contre l'idée qu'en voulait les auteurs).

 

-Ce n'est pas en débranchant une IA qu'on la gèrera.

 

-On aura des IA plus intelligentes que les humains qui pourrons donc faire des IA encore plus intelligentes.

Etc.

 

L'apocalypse n'est pas le seul scénario.

Mais si on échappe à l'apocalypse on aura sans doute une humanité divisée entre les transhumanistes et leurs opposants.

 

 

[Lancelot]

Je n'ai rien vu qui me pousse à penser qu'on s'oriente vers quoi que ce soit qui ressemble à une A"G"I, sauf quelques resucées de scénars de l'âge d'or de la SF que ces gens sérieux ont l'air de découvrir.

[L'affreux]

Le 20/06/2023 à 21:59, Bézoukhov a dit :

en y réfléchissant, un truc assez probable est qu'avec la remontée des taux, les mecs qui financent les équipes de dev IA leur ont dit : bon maintenant, faut arrêter de me promettre du cash dans 10 ans ; je veux que ça livre un truc qui se vend, et de préférence dans six mois.

 

Je pense aussi que c'est l'explication. Je me souviens de l'employé de Google viré parce qu'il soutenait mordicus que son instance du chatbot de Google avait des sentiments. Tout le monde l'avait regardé bête sans comprendre : comment un chatbot pourrait-il avoir des sentiments. Maintenant qu'on a chatgpt on comprend.

[Bézoukhov]

Oui, on y est même pas encore :).

PS : @Lancelot

[Tramp]

Il y a 1 heure, Vilfredo a dit :

On ne peut pas exclure que l'IA détruise l'humanité, et pas mal de gens sérieux ont l'air de craindre ça autant qu'une pandémie ou une catastrophe nucléaire

Craindre la fin du monde c’est ce qui fait sérieux en 2023. À une époque, les gens sérieux crâmaient ceux qui pensaient comme ça. 

[Alchimi]

Le 25/06/2023 à 22:12, Marlenus a dit :

-Ce n'est pas en débranchant une IA qu'on la gèrera.

I beg to differ. Éliminer une menace ou un concurrent est une manière de gérer une menace ou un concurrent. Il suffit de regarder les tigres à dents de sabre.

 

Le 25/06/2023 à 21:35, Vilfredo a dit :

les chimpanzés n'ont pas engineered les humains

Et c'est ballot parce que ça expliquerait quand même pas mal de trucs.