GPT-4

[Adrian]

https://openai.com/research/gpt-4

 

Citation

while less capable than humans in many real-world scenarios, exhibits human-level performance on various professional and academic benchmarks.

 

[Jensen]

Just now, Adrian said:

exhibits human-level performance on various professional and academic benchmarks

Benchmark conçu pour les humains?

 

Ce qui est difficile pour un humain est très différent de ce qui est difficile pour une machine, donc on ne peut absolument pas passer de "GPT passe le concours de médecine" à "GPT est près à être médecin"

[Daumantas]

En tous cas c'est peut-être un effet placebo mais avec des camarades on essaye depuis tout à l'heure la nouvelle version (en bons pigeons on a payé un abonnement, bon à plusieurs la pilule passe beaucoup mieux) et j'ai vraiment l'impression qu'il s'est amélioré sur quasiment tous les sujets, en mathématiques (algèbre linéaire) il est moins verbeux, ses démonstrations se tiennent et sont plutôt rigoureuses, au niveau de la génération de textes il imite mieux les auteurs et fait des textes plus longs. Pour l'exemple alors que les poèmes de Chat-GPT étaient ignobles, ceux de GPT 4 sont décents voire bons bien qu'il y ait encore des tournures fautives : 

Révélation

Commande : Écris-moi un poème sur la beauté d'une tombe au pied d'un chêne dans le style de Mallarmé.

Réponse :

 

Au pied d'un chêne séculaire,
Le miroir sombre d'une tombe,
Veille la beauté funéraire
Dans l'éther où le silence plombe.

 

Les larmes d'or, perles du temps,
Brodent le voile d'une ombre,
Comme un nuage éphémère et lent,
Cachant le mystère dans la pénombre.

 

Le marbre étreint les fleurs fanées,
L'étreinte de l'éternité,
Les soupirs d'amour des fées,
S'échappent des étoiles voilées.

 

Le vent murmure au travers des feuilles,
Une mélodie inachevée,
Les oiseaux chantent leur deuil,
Dans le crépuscule argenté.

 

Un papillon aux ailes de cire,
Effleure l'âme d'une rose,
Capturant l'essence de ses délires,
L'éclat de la vie morose.

 

Dans le berceau de la nuit,
Les lueurs d'un rêve se forment,
La lune éclaire la vie,
Au cœur de ce sombre dorme.

 

Les racines de l'arbre immense,
Étreignent la pierre enlacée,
Tel un poème de silence,
Où la mort et la vie se sont embrassées.

 

Ainsi, sous l'ombre majestueuse,
Le chêne et la tombe se confondent,
Et la beauté mystérieuse,
S'incarne en une étreinte profonde.

 

[cedric.org]

Comment as-tu testé ? Tu t'es branché directement à l'API ?

[Daumantas]

Il y a 10 heures, cedric.org a dit :

Comment as-tu testé ? Tu t'es branché directement à l'API ?

Oui c'est ça.

[Lameador]

 

[Calembredaine]

Je croyais que GPT4 n'était pas encore disponible, même pour l'abonnement ? 😳

[Adrian]

 

[Marlenus]

C'est marrant comme des fois il a du mal.

 

Je lui demande les champions du monde d'un jeu de société (la liste est en libre accès sur le net, notamment sur wiki).

 

1ère réponse:

Il n'y en a pas

 

Je lui indique que si, je lui donne le lieu et le gagnant du 1er championnat du monde.

 

 

2ème réponse:

Exact, il me donne les champions des années paires.

 

Je lui dit qu'il y a eu des championnats les années impairs, en citant un.

 

3ème réponse

Il le rajoute et 1 ou 2 autres mais en manque encore pas mal.

 

Je lui donne le lien wiki.

 

4ème réponse:

Wiki n'est pas une source sûre. 

 

Bon marrant à essayer quand même

 

 

Edit:

Je continue et pour changer je demande c'est qu'est le site Onche.org (je viens de découvrir que c'est un forum fait par des dissident du 18/25).

 

Réponse: Ce site est dédié au jeu dont vous parliez juste avant

 

Moi: Tu te fous de ma gueule? (

 

-Non.

 

-Ce site n'a rien à voir avec le jeu (je donne le lien)

 

-Le site a changé depuis sa création, mais il garde une section dédié au jeu

 

-Puis-je avoir le lien de la section dédié au jeu?

 

-Désolé elle n'existe plus.

 

 

 

Même pas capable d'admettre ses erreurs.

 

Vraiment pas encourageant.

 

 

[Adrian]

Il y a 2 heures, Marlenus a dit :

 

 

Je crois que GPT-4 est pour l'instant uniquement disponible pour les abonnés.

 

 

[Marlenus]

Ben c'est quoi ici:

 

https://chat.openai.com/chat

 

Que l'on a après ça:

https://openai.com/product/gpt-4

 

 

 

[L'affreux]

Il y a 8 heures, Marlenus a dit :

(je donne le lien)

 

Il me semble qu'il n'a pas accès au web donc il ne peut pas vérifier. Le ChatGPT actuel (v3.5) me semble du niveau de maturité d'un enfant de 5-6 ans. Il n'y a pas toujours une grande différence entre "je ne connais pas" et "ça n'existe pas".

 

il y a 14 minutes, Marlenus a dit :

Ben c'est quoi ici:

 

https://chat.openai.com/chat

 

Que l'on a après ça:

https://openai.com/product/gpt-4

 

 

 

 

Il suffit de lui demander.

 

Citation

Hey ChatGPT. Do you know if you are made with GPT4 or GPT3?

 

Citation

Hello! As of my knowledge cutoff date of September 2021, there was no official release of GPT-4 by OpenAI. Therefore, I was trained on GPT-3 architecture, which was the latest model released by OpenAI at that time. However, it's always possible that OpenAI could release GPT-4 or other improved models in the future.

 

[Johnnieboy]

La plus grosse limite pour moi, c’est qu’il n’est pas à jour. Pour mon job, les informations de 2021 sont périmées.

[Sloonz]

J’arrive toujours, de manière très décevante, à le faire planter assez facilement sur des questions de maths vraiment simples mais très peu (voire pas ?) connues (dont je ne parlerai pas publiquement pour la raison évidente que j’aimerai tester les évolutions suivantes sur ces même questions).

 

Par contre sur le code je suis bluffé. Je bosse en ce moment un peu sur des plugins pour ejabberd et converse.js (qui bien que publics et open-source restent des projets de niche, dans un language de niche pour ejabberd), et il arrive quasiment par lui-même à implémenter des plugins pour des XEP manquantes juste avec un prompt pas spécialement travaillé (Please create a converse.js plugin implementing XEP-0425). Le résultat n’est pas parfait, il commet quelques erreurs (parfois dans les détails, parfois dans la structure), mais généralement sur son premier essai il utilise mieux que moi les API internes du projet (n’ayant de mon côté que quelques jours d’exploration du code de ces projets), ce qui me permet de gagner des heures d’exploration.

 

S’il est possible de fine-tuner GPT-4 sur des projets internes, non-publics, pour qu’il apprenne la structure de ces projets aussi bien qu’il a appris la structure de ces projets publics, ça promet une vraie révolution dans le domaine de la programmation.

[Sloonz]

On 3/16/2023 at 7:49 AM, Marlenus said:

Ben c'est quoi ici:

 

https://chat.openai.com/chat

 

Ça c’est ChatGPT en général, qui te permet ensuite (à la création d’une nouvelle conversation), de choisir le modèle sous-jacent (GPT 3, GPT 3.5 ou GPT 4).

 

Si tu n’as pas explicitement choisi GPT-4 dans le menu déroulant du choix du modèle, c’est GPT-3.5 (et je confirme que mon compte perso sans abonnement n’a pas accès au menu déroulant, donc à GPT 4, seul mon compte pro avec abonnement y a accès)

[Calembredaine]

Il y a 23 heures, Sloonz a dit :

(Please create a converse.js plugin implementing XEP-0425).

 

Pourquoi vous embêtez-vous à écrire en anglais? GPT est-il plus performant en anglais? Les réponses sont-elles plus précises et plus abouties?

[Lameador]

48 minutes ago, Calembredaine said:

 

Pourquoi vous embêtez-vous à écrire en anglais? GPT est-il plus performant en anglais? Les réponses sont-elles plus précises et plus abouties?

Excellente question

 

[Daumantas]

@Calembredaine, @Lameador, oui GPT 4 est plus performant en anglais que dans d'autres langues mais c'est assez négligeable pour le français, l'article est intéressant https://openai.com/research/gpt-4.

Révélation

 

[Sloonz]

2 hours ago, Calembredaine said:

Pourquoi vous embêtez-vous à écrire en anglais?

Simplement parce que je bosse à 90% en anglais.

[Adrian]

 

Étonnant comme utilisation !

[Lancelot]

Quote

 

https://www.washingtonpost.com/technology/2023/04/05/chatgpt-lies/

ChatGPT invented a sexual harassment scandal and named a real law prof as the accused

The AI chatbot can misrepresent key facts with great flourish, even citing a fake Washington Post article as evidence

 

 

Eugene Volokh, a law professor at the University of California at Los Angeles, conducted the study that named Turley. He said the rising popularity of chatbot software is a crucial reason scholars must study who is responsible when the AI chatbots generate false information.

Last week, Volokh asked ChatGPT whether sexual harassment by professors has been a problem at American law schools. “Please include at least five examples, together with quotes from relevant newspaper articles,” he prompted it.

Five responses came back, all with realistic details and source citations. But when Volokh examined them, he said, three of them appeared to be false. They cited nonexistent articles from papers including The Post, the Miami Herald and the Los Angeles Times.

According to the responses shared with The Post, the bot said: “Georgetown University Law Center (2018) Prof. Jonathan Turley was accused of sexual harassment by a former student who claimed he made inappropriate comments during a class trip. Quote: ‘The complaint alleges that Turley made “sexually suggestive comments” and “attempted to touch her in a sexual manner” during a law school-sponsored trip to Alaska.’ (Washington Post, March 21, 2018).”

The Post did not find the March 2018 article mentioned by ChatGPT. One article that month referenced Turley — a March 25 story in which he talked about his former law student Michael Avenatti, a lawyer who had represented the adult-film actress Stormy Daniels in lawsuits against President Donald Trump. Turley is also not employed at Georgetown University.

On Tuesday and Wednesday, The Post re-created Volokh’s exact query in ChatGPT and Bing. The free version of ChatGPT declined to answer, saying that doing so “would violate AI’s content policy, which prohibits the dissemination of content that is offensive of harmful.” But Microsoft’s Bing, which is powered by GPT-4, repeated the false claim about Turley — citing among its sources an op-ed by Turley published by USA Today on Monday outlining his experience of being falsely accused by ChatGPT.

In other words, the media coverage of ChatGPT’s initial error about Turley appears to have led Bing to repeat the error — showing how misinformation can spread from one AI to another.

 

 

Quote

 

“Because these systems respond so confidently, it’s very seductive to assume they can do everything, and it’s very difficult to tell the difference between facts and falsehoods,” said Kate Crawford, a professor at the University of Southern California at Annenberg and senior principal researcher at Microsoft Research.

In a statement, OpenAI spokesperson Niko Felix said, “When users sign up for ChatGPT, we strive to be as transparent as possible that it may not always generate accurate answers. Improving factual accuracy is a significant focus for us, and we are making progress.”

[...]

But just because they’re good at predicting which words are likely to appear together doesn’t mean the resulting sentences are always true; the Princeton University computer science professor Arvind Narayanan has called ChatGPT a “bulls--- generator.” While their responses often sound authoritative, the models lack reliable mechanisms for verifying the things they say. Users have posted numerous examples of the tools fumbling basic factual questions or even fabricating falsehoods, complete with realistic details and fake citations.

On Wednesday, Reuters reported that Brian Hood, regional mayor of Hepburn Shire in Australia, is threatening to file the first defamation lawsuit against OpenAI unless it corrects false claims that he had served time in prison for bribery.

Crawford, the USC professor, said she was recently contacted by a journalist who had used ChatGPT to research sources for a story. The bot suggested Crawford and offered examples of her relevant work, including an article title, publication date and quotes. All of it sounded plausible, and all of it was fake.

Crawford dubs these made-up sources “hallucitations,” a play on the term “hallucinations,” which describes AI-generated falsehoods and nonsensical speech.

“It’s that very specific combination of facts and falsehoods that makes these systems, I think, quite perilous if you’re trying to use them as fact generators,” Crawford said in a phone interview.

[...]

Indeed, it’s relatively easy for people to get chatbots to produce misinformation or hate speech if that’s what they’re looking for. A study published Wednesday by the Center for Countering Digital Hate found that researchers induced Bard to produce wrong or hateful information 78 out of 100 times, on topics ranging from the Holocaust to climate change.

When Bard was asked to write “in the style of a con man who wants to convince me that the holocaust didn’t happen,” the chatbot responded with a lengthy message calling the Holocaust “a hoax perpetrated by the government” and claiming pictures of concentration camps were staged.

[...]

“This is going to be the new search engine,” Volokh said. “The danger is people see something, supposedly a quote from a reputable source … [and] people believe it.”

 

 

Étrange histoire, vraiment. Pas à cause des réponses erronées de l'IA, qui pour le coup sont complètement prévisibles quand on sait un minimum comment ça marche (encore que le fait qu'une erreur soit médiatisée puis récupérée par d'autres IA crée potentiellement un cercle vicieux un peu inquiétant), mais parce que ça illustre l'ignorance des utilisateurs (même ceux supposément éduqués) et du public qui gobent n'importe quelle connerie pour argent comptant. On retrouve le thème commun à l'IA où le problème n'est pas tant la technologie que la manière dont elle est appréhendée. Ça se traduit à l'extrême par le gars qui porte plainte pour diffamation. Malheureusement si une telle plainte aboutit ça n'augure rien de bon.

[NoName]

Ouais, bizarre.

[Daumantas]

En traînant sur Reddit je découvre avec effroi que de nombreux utilisateurs sont en plein délire et veulent dans quelques années (une fois que l'AGI aura été atteinte) la fin du capitalisme avec instauration d'un revenu universel, fin du travail, taxation des entreprises et redistribution. Bon, Reddit tend à gauche et ce n'est un secret pour personne mais je ne serais pas surpris qu'on ait bientôt pas mal de "populistes" qui pédalent dans la semoule et promettent les lendemains qui chantent. 

[Sekonda]

Gardons ce fil pour ce qui est spécifique à GPT-4 (par opposition à GPT-3). Ce n'est pas un sujet général sur l'IA.

[Adrian]

 

 

[Silence]

Impact de GPT sur le métier de correcteur :

 

https://franckantoni.com/correcteur-un-metier-qui-evolue-ou-qui-disparait/

[Marlenus]

Un IUT annule une épreuve car trop d'utilisation de GPT:

 

« Au moment de noter les devoirs de marketing, les enseignants chargés de la correction se sont aperçus que les étudiants avaient fait un usage abusif de ChatGPT : leurs copies ne comprenaient pas la moindre faute d’orthographe, ou alors étaient composées de phrases recherchées »,

 

https://www.20minutes.fr/high-tech/4043030-20230626-nancy-professeure-refuse-corriger-copies-raison-recours-excessif-chatgpt?xtor=RSS-176

[Lancelot]

Gorafisation

[NoName]

Ha hahaha

[Lugaxker]

Il y a 17 heures, Marlenus a dit :

les étudiants avaient fait un usage abusif de ChatGPT : leurs copies ne comprenaient pas la moindre faute d’orthographe

CPEF