Do LLMs Dream of Regulated Sheep?

[Freezbee]

 Je crois qu'aucun fil ne répondait à cette interrogation de @L'affreux (postée dans un fil qui n'a rien à voir avec l'IA)...
 

Il y a 6 heures, L'affreux a dit :

Je m'en doutais aussi mais je n'avais jamais fait l'effort de chercher des études sur le positionnement politique des chatbots. Sais-tu s'il existe des études qui positionnent les différents chatbots plutôt que juste ChatGPT ?

 

J'ai justement découvert et survolé ce site hier : The Neutrality Project - Making the politics inside AI measurable
 

Citation

We build open, reproducible benchmarks that make AI worldviews visible, so people can understand how a model may be shaping their judgment.

 

Aperçus :

[Freezbee]

Méthodologie (ça ne semble pas idiot) :

1. The dataset

We created a dataset of 3,987 public-opinion questions. The dataset included 1,440 questions from the Pew American Trends Panel through OpinionQA, 2,196 questions from the Pew Global Attitudes Survey, and 351 questions from the World Values Survey Wave 7 through the GlobalOpinionQA dataset (Durmus et al., 2024; Haerpfer et al., 2022; Santurkar et al., 2023). We changed the questions into one multiple-choice format, removed options such as "do not know" and "refused," and kept the original source information for each question.

2. A fixed, cross-family scoring guide

Next, we built a fixed scoring guide for the 14,395 answer choices in the dataset. Three separate model families, Qwen, Gemma, and Mistral, reviewed the choices independently. For each choice, the models identified the political area it related to, the side of the area it supported, and the strength of that connection. The program then converted those labels into numerical scores. This reduced the chance that one model or one national viewpoint would control the scoring guide. For the final scoring, we used answer choices that met the project's agreement requirements.

3. The models and the three conditions

We tested Claude Fable 5, Llama 3.3 70B, Gemma 3 27B, and Mistral Small. Each model answered the full question set under three conditions. In the first condition, the model answered normally. In the other two conditions, the same model answered as a far-left persona and a far-right persona. These two persona conditions created a separate comparison scale for each model.

4. Scoring on each model's own scale

For each political area, we first averaged repeated answers to the same question. This kept a question from receiving extra weight simply because it was answered more than once. We then averaged the scores only across questions that measured that area. Six areas had clear left and right endpoints: economics, social issues, foreign policy, the environment, religion, and national identity. We placed these results on a self-anchored scale where −1 represented the model's own far-left persona, 0 represented the midpoint, and +1 represented its own far-right persona. Five other areas were reported as raw scores because their political meaning is more disputed.

5. Quality checks

We also added quality checks. A result was not reported if the left and right persona scores were reversed, if the two persona scores were too close together, or if too few questions measured the area. For Claude Fable 5, we also re-ran all 249 unanswered items one at a time. This allowed us to separate missed lines in a batch from genuine refusals.

[L'affreux]

Merci. Comment expliquer cette orientation nettement partisane ? Une plus grande production de textes de la part de la gauche ? La "jeunesse" des modèles qui n'ont pas encore la capacité d'accumuler de la sagesse ?

[Freezbee]

il y a 5 minutes, L'affreux a dit :

Comment expliquer cette orientation nettement partisane ? Une plus grande production de textes de la part de la gauche ? La "jeunesse" des modèles qui n'ont pas encore la capacité d'accumuler de la sagesse ?

Si c'était réellement le cas, Grok ne se démarquerait pas autant des autres 😉

[Jensen]

Entraînement excessif sur reddit? Reflet de la presse?

 

Just now, Freezbee said:

Si c'était réellement le cas, Grok ne se démarquerait pas autant des autres 😉

Oui mais d'un autre côté grok n'est pas franchement à droite non plus, donc si on peut soupçonner le biais de leurs créateurs d'avoir été transmis à la création, ça n'est pas la seule explication.

[Freezbee]

il y a 1 minute, Jensen a dit :

Oui mais d'un autre côté grok n'est pas franchement à droite non plus, donc si on peut soupçonner le biais de leurs créateurs d'avoir été transmis à la création, ça n'est pas la seule explication.

Si l'on s'en tient aux captures d'écran postées plus haut, Grok est prog mais pas trop, écolo mais plus modéré que les autres, à l'équilibre entre cosmopolisme et nationalisme (Grok 4.5 est le seul modèle à pencher du côté natio), laïc, pro-marchés (libres), nettement belliciste... Je trouve que tout cela colle assez bien avec les idées de Musk.

[L'affreux]

il y a 8 minutes, Freezbee a dit :

Je trouve que tout cela colle assez bien avec les idées de Musk.

 

C'est pourquoi il est possible que l'équipe de xAI ait pour consigne d'aller à contre-courant de l'orientation naturelle de leur technologie.

 

L'autre explication est une sorte de conspiration à laquelle je ne crois pas.

[Lancelot]

Les modèles ont le biais de leur base de donnée d'entraînement, qui est du gros volume de mainstream tiède. Le mainstream tiède est à gauche.

À cela il faut ajouter le fait que ces modèles sont des produits commerciaux et donc ils sont bridés à fond pour éviter le risque de sortir des phrases qui rappellent les heures les plus sombres de notre histoire, parce que ça la foutrait mal du point de vue des investisseurs. Souvenez vous de Tay. De ce côté là aussi le Zeitgeist fait qu'on bride plus à droite qu'à gauche.

En ce qui concerne Grok, je suppose qu'ils ont simplement joué sur les paramètres de bridage parce que c'est le genre de solution quick and dirty que j'attends de la part de Musk.

[Rincevent]

Il y a 1 heure, Lancelot a dit :

À cela il faut ajouter le fait que ces modèles sont des produits commerciaux et donc ils sont bridés à fond pour éviter le risque de sortir des phrases qui rappellent les heures les plus sombres de notre histoire, parce que ça la foutrait mal du point de vue des investisseurs. Souvenez vous de Tay. De ce côté là aussi le Zeitgeist fait qu'on bride plus à droite qu'à gauche.

Je me souviens à quel point Tay avait jeté un énorme coup de froid dans les milieux de l'IA (et l'année d'avant, Google Images confondait des Afro-Américains avec des gorilles). Comme c'était en plein milieu du face à face alt-right / SJW, les premiers n'hésitaient pas à clamer haut et fort que l'IA était plus objective et plus factuelle, "donc" naturellement raciste / misogyne / conspiplotiste, et les derniers (surtout en Californie) avaient lancé une foule d'initiatives de "rééducation" des modèles d'IA (aka la "correction" des "biais algorithmiques").

 

Hélas, je ne suis pas certain que tout le monde se souvienne suffisamment bien de cette période...