Aller au contenu

GPT-3 et autres modèles générateurs de texte


Messages recommandés

  • 2 weeks later...

Ça y est, Microsoft a ajouté ChatGPT à son moteur de recherche Bing.

Mais comme il s'agit de Microsoft, tout le monde peut tenter à condition de s'inscrire sur une "liste d'attente". Cette dernière n'est pas du tout destinée à récupérer quelques données personnelles 🙂 

Lien vers le commentaire

A part un ou deux instants de pertinence dans la globalité de la vidéo, c'est quand même  mauvais de bout en bout.
Ils remarquent les biais californiens mais sont infoutus de remarquer les leurs.  La dernière phrase a tout dit. 

  • Yea 1
Lien vers le commentaire
  • 4 weeks later...

J'ai bien fait de ne pas m'abonner à ChatGPT. On atteint assez facilement ses limites.

Du code SwiftUI pour accéder à une base de données PostgreSQL -> il me répond absolument n'importe quoi en mélangeant la syntaxe de toutes les bibliothèques annexes (PostgresClientKit, NIOPostgres, GRDB.swift, etc.). Je n'ai pas réussi à lui faire pondre un truc correct même en tentant de le pousser dans ses retranchements et en lui prouvant qu'il disait n'importe quoi.

En revanche, c'est roi des excuses contrites 😒

 

Soyons heureux en attendant la version 4.

Lien vers le commentaire
il y a 19 minutes, Marlenus a dit :

C'est sûrement facile, je n'ai rien compris :D

 

 

Swift c'est le langage de programmation mis en avant par Apple pour programmer des applications iOS (iPhone) et MacOS.

UI veut dire User Interface, c'est à dire que l'interface graphique (les fenêtres, les boutons, les listes, etc.) peut être programmée.

Et PostgreSQL est un moteur de base de données comme MySQL.

 

Or au sein de Swift, il n'y a aucun moyen pour accéder à une base de donnée PostgreSQL. Il faut ajouter une bibliothèque de fonctionnalités dédiées (que l'on appelle "classes" ou "structures" ) pour accéder à une telle base.

 

J'espère que c'est plus clair 🙂 

  • Yea 1
Lien vers le commentaire
  • 3 weeks later...
Le 26/03/2023 à 15:52, GilliB a dit :

 

Désolé je ne sais pas comment supprimer une boîte sur mobile.

Le 04/01/2023 à 19:21, Daumantas a dit :

Allez je lance ma petite prédiction. Il faudra encore un an avant que la plupart des jeunes enseignants comprennent que les étudiants utilisent ChatGPT, puis encore entre deux et trois ans pour développer des logiciels efficaces pour lutter contre. C'est beau de se dire que des types qui ne comprennent rien à rien pourront avoir entre douze et quinze de moyenne sans rien faire jusqu'à un niveau de fin de licence ! Surtout que certaines disciplines qui comptaient pas mal sur les devoirs à la maison vont avoir des difficultés à muter. Au fait est-ce que vous sauriez comment on peut lui faire rédiger une dissertation qui est d'une taille décente ? J'essaye de lui faire développer chaque sous-partie indépendamment mais ça n'amène pas à des résultats très probants.

Je propose des sujets de dissertation en histoire géo au logiciel et il me sort des points de cours plutôt élaborés, mais je peux deviner les sites d'où il le sort. Vu le temps qu'il faut et la maîtrise des notions nécessaire pour calibrer les réponses, on en est au point de recopier les définitions sur un petit papier autour des mines du stylos. That's basically studying.

 

Mes élèves ne sont pas encore assez intelligents pour utiliser correctement ces ais, mais quand j'ai demandé à l'ai en question comment éviter la triche, il a proposé quelque chose de très pertinent : ne propose pas des sujets facilement resolvable par une ai.

Lien vers le commentaire

Sur GPT3 il y a quelques techniques pour obtenir des meilleures réponses du genre Chain of Though, forcer la récursivité, créer des étapes, demander à augmenter le niveau etc... 

 

Si tu maîtrises ça il y a moyen de t'en servir. 

Lien vers le commentaire

Je me demandais comment allait réagir l'enseignement français face à ces nouveautés, plus particulièrement les universités (car je pense que les élèves de collège/lycée auront toujours besoin d'être encadrés par des professeurs). Va-t-on vers un développement de MOOC (au niveau licence) en lieu et place des cours magistraux avec les modèles de language qui feront office d'assistant pour les élèves, le tout supervisé par des chargés de TD qui assureront un suivi des élèves, plus particulièrement risque-t-on de se retrouver avec la "dichotomie" américaine entre College et Universities, avec des formations plus orientés vers la licence professionnalisante (et donc une assistance relativement forte de GPT-4 et autres, ainsi que des enseignants moins orientés vers la recherche pour se consacrer à l'enseignement) et quelques grandes formations qui se consacreront avant tout sur la recherche avec une incitation forte pour poursuivre en master puis en doctorat ?

Révélation

Je sais que le plus probable est le refus de l'évolution de la part des enseignants-chercheurs/cabinets ministériels mais laissez-moi rêver ! :lol:

 

Lien vers le commentaire
  • 2 weeks later...

Pour reprendre les bases du sujet, une vidéo conseillée à tous les curieux.

 

 

(Où l'on apprend que le modèle de ChatGPT utilisé par Bing s'appelle Sydney, par exemple).

  • Yea 1
Lien vers le commentaire

Je ne sais pas si vous l'avez repéré mais il est possible d'installer GPT4All Chat sur son ordi. Il s'agit une application de chat IA fonctionnant localement. Le modèle fonctionne sur le  votre ordinateur, n'a pas besoin de connexion Internet et il n'envoie aucune donnée à des serveurs externes.

Disponible pour Windows, Linux et macOS.

 

C'est amusant à utiliser mais l'accroche ("GPT4all") est bien entendu mensongère. Il ne s'agit pas de GPT4 mais de GPT-for-all. L'ensemble est très loin d'arriver à la cheville de ChatGPT. Peut-être qu'avec le temps, deviendra-t-il meilleur?

Lien vers le commentaire
Il y a 12 heures, Calembredaine a dit :

 

 

C'est amusant à utiliser mais l'accroche ("GPT4all") est bien entendu mensongère. Il ne s'agit pas de GPT4 mais de GPT-for-all. L'ensemble est très loin d'arriver à la cheville de ChatGPT. Peut-être qu'avec le temps, deviendra-t-il meilleur?

 

Meilleur mais jamais supérieur pour des raisons techniques, non ? Impossible d'avoir la même puissance de calcul ni de bénéficier des résultats de millions d'utilisateurs ?

Lien vers le commentaire
29 minutes ago, POE said:

 

Meilleur mais jamais supérieur pour des raisons techniques, non ? Impossible d'avoir la même puissance de calcul ni de bénéficier des résultats de millions d'utilisateurs ?

1/ contrairement à ce que l'on pense, il ne faut pas un super calculateur pour servir des modèles. C'est sans doute un ordre de grandeur supérieur à servir une application web pour le même nombre d'utilisateurs. Dit autrement : ton téléphone est largement capable de le faire.

 

2/ les modèles sont régulièrement ré entrainés avec des données fraîches (et c'est ça qui nécessite une puissance de calcul démentiel). C'est l'avantage de déléguer ça a une entreprise : elle gère tout le cycle pour toi. Maintenant on a de plus en plus d'applicationw qui possèdent de l'inference de modèle qui vont mettre à jour quasi quotidiennement ledit modèle sur son app mobile par exemple.

Lien vers le commentaire
il y a 5 minutes, cedric.org a dit :

Dit autrement : ton téléphone est largement capable de le faire.

 

La masse de connaissances stockée dans ChatGPT est impressionnante, la taille du modèle et la RAM qu'il lui faut doivent être conséquentes.

Lien vers le commentaire
Il y a 4 heures, POE a dit :

 

Meilleur mais jamais supérieur pour des raisons techniques, non ? Impossible d'avoir la même puissance de calcul ni de bénéficier des résultats de millions d'utilisateurs ?

 

Il est possible d'autoriser un upload de tes interventions afin de contribuer à améliorer l'IA.

Lien vers le commentaire

Pour compléter ce qui est dit, il y a des papiers qui sortent en ce moment et qui semblent indiquer quelque chose d'intéressant quand on est à plus de 13 milliards de tokens dans la base d'apprentissage (c'est grosso modo ce que vous avez dans différentes versions de GPT, Llama, Koala, et les autres), la "pertinence" du modèle ne vient plus de sa taille, mais plutôt s'il a été bien finetuné. 

Si vous prenez un des modèle actuels, et que vous le finetunez avec des exemples de dialogues entre humains et entre humain et "machine" (au moins 100 000), vous obtenez un modèle qui est bien plus performant qu'un modèle plus gros. 

 

Sam Altman, le patron d'OpenAI le dit lui-même : l'avenir ne sera pas au modèles encore plus gros que les modèles actuels (trop cher en compute). Le futur, c'est les modèles finetunés avec de la bonne data, et les systèmes qui enchaînent une série d'instructions successives à dérouler, comme Auto-GPT par exemple. 

Lien vers le commentaire
15 minutes ago, WBell said:

Sam Altman, le patron d'OpenAI le dit lui-même : l'avenir ne sera pas au modèles encore plus gros que les modèles actuels (trop cher en compute). Le futur, c'est les modèles finetunés avec de la bonne data, et les systèmes qui enchaînent une série d'instructions successives à dérouler, comme Auto-GPT par exemple. 

Comme je l'écrivais il y a quelques temps à propos des générateurs d'image, à mon avis l'avenir c'est une base généraliste plus ou moins standardisée et du fine tuning spécifique, avec des modèles sans doute plus légers (si on enlève le clutter de trucs redondants dans les bases de données actuelles), plus nombreux et spécialisés. Bref une normalisation vers un outil de machine learning normal. Si j'ai raison ça rassurera peut-être les angoissés de l'IA qui s'attendent à ce que GPT devienne conscient et parte à la conquête du monde d'un jour à l'autre.

  • Yea 1
Lien vers le commentaire

Créer un compte ou se connecter pour commenter

Vous devez être membre afin de pouvoir déposer un commentaire

Créer un compte

Créez un compte sur notre communauté. C’est facile !

Créer un nouveau compte

Se connecter

Vous avez déjà un compte ? Connectez-vous ici.

Connectez-vous maintenant
×
×
  • Créer...