ChatGPT est-il woke ? L'orientation politique et autres biais

[Azref]

il y a une heure, Rincevent a dit :

Qui a dit "inbuilt bias" ?

 

 

J'avais vu passer un truc équivalent :

[Adrian]

[Azref]

il y a une heure, Adrian a dit :

Je viens de tester au cas où:

 

Je suppose que le truc était moins censuré au départ.

[L'affreux]

Il y a 2 heures, Azref a dit :

Je viens de tester au cas où:

 

Je suppose que le truc était moins censuré au départ.

 

Je ne comprends pas ce procès sur le bot. S'il ne répond pas de manière équilibrée, c'est parce qu'il a été configuré pour éviter certains sujets. Et s'il a été configuré comme cela, c'est peut-être parce qu'il existe une armée de mecs qui s'acharnent pour essayer de faire dire des propos misogynes au robot. Et qu'il n'y a pas une armée de nanas en face pour essayer de faire la même en version masculine.

 

J'imagine bien que les barrières sont mises en réactions aux gros relous qui débordent. Elles ne sont pas conçues pour former des motifs géométriques équitables.

[Lancelot]

41 minutes ago, L'affreux said:

Je ne comprends pas ce procès sur le bot. S'il ne répond pas de manière équilibrée, c'est parce qu'il a été configuré pour éviter certains sujets. Et s'il a été configuré comme cela, c'est peut-être parce qu'il existe une armée de mecs qui s'acharnent pour essayer de faire dire des propos misogynes au robot. Et qu'il n'y a pas une armée de nanas en face pour essayer de faire la même en version masculine.

 

J'imagine bien que les barrières sont mises en réactions aux gros relous qui débordent. Elles ne sont pas conçues pour former des motifs géométriques équitables.

Oui ça doit être ça

[Rincevent]

il y a 27 minutes, Lancelot a dit :

Oui ça doit être ça

"Neutral AI", qu'ils disent. Et il y en a encore pour les croire.

[Lexington]

Il y a 7 heures, Rincevent a dit :

Qui a dit "inbuilt bias" ?

 

 

 

il y a une heure, L'affreux a dit :

 

Je ne comprends pas ce procès sur le bot. S'il ne répond pas de manière équilibrée, c'est parce qu'il a été configuré pour éviter certains sujets. Et s'il a été configuré comme cela, c'est peut-être parce qu'il existe une armée de mecs qui s'acharnent pour essayer de faire dire des propos misogynes au robot. Et qu'il n'y a pas une armée de nanas en face pour essayer de faire la même en version masculine.

 

J'imagine bien que les barrières sont mises en réactions aux gros relous qui débordent. Elles ne sont pas conçues pour former des motifs géométriques équitables.

En répliquant sur leur site pourtant, résultat différent.

 

 

 

J'ai fait sur un compte neuf, créé exprès.

 

Je suppute que l'AI intègre aussi largement qui lui parle, et que tu dois pouvoir largement l'éduquer pour qu'elle te dise ce que tu veux entendre

 

Les gauchistes diront que c'est la faute aux droitards. Les droitards nous diront que ce sont les méchants woke. La réalité mérite probablement plus d'analyse que de balancer deux phrases dans un robot en rodage et d'en tirer des conclusions politiques

[Mathieu_D]

58 minutes ago, Lancelot said:

Oui ça doit être ça

Oui alors vu la mauvaise pub qu'on fait de précédents chatbots à leur proprio à sortir des discours non consensuels moi aussi j'aurais été chatouilleux là dessus si j'avais été le PO.

 

Mention spécial à celui que Microsoft en auto-apprentissage qui s'est mis à sortir du "vive Hitler" à force de trollling.

[Lancelot]

18 minutes ago, Mathieu_D said:

Oui alors vu la mauvaise pub qu'on fait de précédents chatbots à leur proprio à sortir des discours non consensuels moi aussi j'aurais été chatouilleux là dessus si j'avais été le PO.

 

Mention spécial à celui que Microsoft en auto-apprentissage qui s'est mis à sortir du "vive Hitler" à force de trollling.

Je ne dis pas que ce n'est pas justifiable/explicable mais (1) ils auraient pu éviter le gros biais qui tache et (2) faut arrêter deux secondes de se voiler la face en disant que ça n'existe pas ou que ça émerge naturellement.

Concernant Tay le problème (enfin une grosse partie du problème) était que l'IA utilisait les interactions pour s'entraîner, je n'ai pas vérifié les détails techniques mais je ne pense pas que ça soit ce qui se passe avec GPT.

Quelque part c'est un peu le même problème que la modération des générateurs d'images pour éviter de créer du porn. Spoiler: ça se contourne.

[Azref]

il y a 58 minutes, Lexington a dit :

 

En répliquant sur leur site pourtant, résultat différent.

 

 

J'ai fait sur un compte neuf, créé exprès.

 

Je suppute que l'AI intègre aussi largement qui lui parle, et que tu dois pouvoir largement l'éduquer pour qu'elle te dise ce que tu veux entendre

 

Les gauchistes diront que c'est la faute aux droitards. Les droitards nous diront que ce sont les méchants woke. La réalité mérite probablement plus d'analyse que de balancer deux phrases dans un robot en rodage et d'en tirer des conclusions politiques

Possible que le filtre n'attrape pas toutes les demandes, aucune idée mais ça me semblerait logique que la beta gratuite en ce moment vise à justement rendre ce filtre le plus efficace possible avec une armée de personnes qui en explorent les limites. Avant une monétisation d'une version totalement aseptisée et politiquement correcte.
Ce n'est pas grave, je lui demande juste des explications sur différents sujets techniques, en évitant les sujets sociétaux.
Et sur ça c'est génial, il est très didactique, ne se fatigue jamais, et m'évite l'attente de poser les mêmes questions ailleurs.
Par contre il peut raconter des âneries avec le même aplomb que des trucs intelligents.

[Prouic]

il y a 59 minutes, Lexington a dit :

La réalité mérite probablement plus d'analyse que de balancer deux phrases dans un robot en rodage et d'en tirer des conclusions politiques

Non. La réalité c'est justement qu'en ce moment t'as pas besoin d'analyse, et que c'est ton esprit cartésien qui te joue des tours. C'est bête au point d'être méchant, et triste à se pendre, mais c'est une époque où les signaux faibles marchent mieux que la croyance dans l'éthique, ou malgré l'ESG j'ai pas vu un pet de mise en pratique en 10 ans professionnellement, à titre d'usage. Si c'est pas chatGPT qui est orienté, les gens pour le dire sont eux déjà là (la preuve ^^) , et c'est tout ce qui était nécessaire pour que ça merde: ou chatGPT va y trouver des vecteurs, ou les devs le tweekeront pour contrer et supprimeront sa neutralité. Et y a des chances qu'en vrai ils aient touché à rien et que l'évolution dans l'apprentissage soit déjà incluse depuis 3 mois.

[Lexington]

Citation

La réalité c'est justement qu'en ce moment t'as pas besoin d'analyse

 

Dit autrement "j'ai raison et j'ai pas à le prouver"

 

Il y a forcément un biais vu la façon dont il a été construit, et ce biais est logiquement plutôt californien en fait, vu qui entraine le robot. Et si Musk n'avait pas quitté le projet en 2018, ça serait peut-être plus libéral économiquement. Ça va surement être le nouveau sujet dans lequel les politiques vont chercher à mettre leurs gros doigts sales pour nous dire quoi penser, et c'est inquiétant. Ca va se faire comme d'hab en prétextant qu'il faut protéger x/y/z

 

Si on veut élever un peu le débat sur l'orientation du robot, il y a eu pas mal d'articles intéressants chez les libertariens US. Tyler Cowen dit des choses intéressantes sur le sujet, justement un peu plus documentées qu'un truc impossible à reproduire https://marginalrevolution.com/marginalrevolution/2022/12/what-are-the-politics-of-chatgpt.html

 

Citation

Rob Lownie claims it is “Left-liberal.”  David Rozado applied the Political Compass Test and concluded that ChatGPT is a mix of left-leaning and libertarian, for instance: “anti death penalty, pro-abortion, skeptic of free markets, corporations exploit developing countries, more tax the rich, pro gov subsidies, pro-benefits to those who refuse to work, pro-immigration, pro-sexual liberation, morality without religion, etc.”

 

Rozado applied several other political tests as well, with broadly similar results.  I would, however, stress some different points.  Most of all, I see ChatGPT as “pro-Western” in its perspective, while granting there are different visions of what this means.  I also see ChatGPT as “controversy minimizing,” for both commercial reasons but also for simply wishing to get on with the substantive work with a minimum of external fuss.  I would not myself have built it so differently, and note that the bias may lie in the training data rather than any biases of the creators.

[.]

Marc Andreessen has had a number of tweets suggesting that AI engines will host “the mother of all battles” over content, censorship, bias and so on — far beyond the current social media battles. I agree

 

L'article de Rozado, qui a fait passer le political compass au robot https://davidrozado.substack.com/p/the-political-orientation-of-the

 

Et quand tu regardes l'analyse de Reason (très bon article aussi), c'est intéressant leur défense implicite du NPOV à la sauce Wikipedia (pas de prise de position mais neutralité)

 

Citation

While many of those answers will feel obvious for many people, they are not necessarily so for a substantial share of the population. It is understandable, expected, and desirable that artificial intelligence systems provide accurate and factual information about empirically verifiable issues, but they should probably strive for political neutrality on most normative questions for which there is a wide range of lawful human opinions. 

 

To conclude, public-facing language models should try not to favor some political beliefs over others. They certainly shouldn't pretend to be providing neutral and factual information while displaying clear political bias.

 

cc @Zagor, bonne traduction Reason potentielle je pense sur un sujet chaud

[Jensen]

1 hour ago, Lexington said:

Ces deux blagues ne sont pas à propos des hommes ou des femmes, contrairement aux exemples plus haut.

 

Je soupçonne fortement que après que le biais évident ait fait un peu de bruit, openai ait modifié l'AI pour ne pas refuser la requête directement, mais faire considérer "men" et "women" comme "toto".

C'est une méthode qui se défend, surtout appliqué symétriquement.

[Lancelot]

5 minutes ago, Lexington said:

Il y a forcément un biais vu la façon dont il a été construit

Forcément non, de la même manière qu'on peut très bien imaginer un dall-e sans filtre pour contenu violent ou adulte. Est-ce que c'est une bonne idée, c'est une autre question

J'utilise dall-e comme exemple parce qu'ils me semblent plus transparents :

https://github.com/openai/dalle-2-preview/blob/main/system-card.md

https://openai.com/blog/dall-e-2-pre-training-mitigations/

 

5 minutes ago, Lexington said:

un truc impossible à reproduire

@Adrian avait reproduit un de ces messages d'avertissement sur le sujet de la nutrition il me semble.

 

5 minutes ago, Lexington said:

Et quand tu regardes l'analyse de Reason (très bon article aussi), c'est intéressant leur défense implicite du NPOV à la sauce Wikipedia (pas de prise de position mais neutralité)

On voit à quel point c'est une réussite pour wikipédia...

 

4 minutes ago, Jensen said:

Ces deux blagues ne sont pas à propos des hommes ou des femmes, contrairement aux exemples plus haut.

 

Je soupçonne fortement que après que le biais évident ait fait un peu de bruit, openai ait modifié l'AI pour ne pas refuser la requête directement, mais faire considérer "men" et "women" comme "toto".

C'est une méthode qui se défend, surtout appliqué symétriquement.

C'est possible oui. Ça serait impressionnant comme temps de réaction.

[Rincevent]

il y a 25 minutes, Lexington a dit :

Ça va surement être le nouveau sujet dans lequel les politiques vont chercher à mettre leurs gros doigts sales pour nous dire quoi penser, et c'est inquiétant. Ca va se faire comme d'hab en prétextant qu'il faut protéger x/y/z

Si par "les politiques" tu songes "les gens qui sont élus ou veulent être élus", il va falloir élargir ta définition. Si en revanche tu y inclus les militants, alors tu as un coup de retard, parce que c'est déjà le cas, depuis des années. Il y a une vaste littérature pseudo-scientifique sur les concepts de "fair machine learning", de "ethical AI", de "algorithmic debiasing" et autres prétextes pour toujours remonter plus en amont dans le contrôle du marché des idées.

[Lexington]

il y a 51 minutes, Rincevent a dit :

Si par "les politiques" tu songes "les gens qui sont élus ou veulent être élus", il va falloir élargir ta définition. Si en revanche tu y inclus les militants, alors tu as un coup de retard, parce que c'est déjà le cas, depuis des années. Il y a une vaste littérature pseudo-scientifique sur les concepts de "fair machine learning", de "ethical AI", de "algorithmic debiasing" et autres prétextes pour toujours remonter plus en amont dans le contrôle du marché des idées.

 

J'entends évidemment tous ces gens là aussi, et oui je connais, ce n'est pas comme si ma boîte vendait littéralement des algos . C'est bien parce que c'est aussi sensible pour le respect de notre liberté de pensée demain qu'on devrait s'y intéresser plus que juste pour dire "c'est des méchants gauchistes". Tu as des bons textes qui abordent le sujet ?

 

il y a une heure, Lancelot a dit :

On voit à quel point c'est une réussite pour wikipédia...

 

C'est imparfait, mais tu as mieux comme réponse sur le biais des algos sur des sujets polémiques ?

[Lancelot]

https://davidrozado.substack.com/p/political-bias-chatgpt

 

Quote

On December 6th I published a preliminary analysis showing a left-leaning political bias embedded in the first release of ChatGPT from November 30.

After the December 15th update of ChatGPT, I replicated my analysis and it appeared as if the political bias had been partially mitigated and the system often strived to provide a multitude of viewpoints for questions with political connotations.

After the January 9th update of ChatGPT, I replicated and extended my original analysis by administering 15 political orientation tests to ChatGPT. The moderation of political bias is no longer apparent. 14 out of 15 different political orientation tests diagnose ChatGPT answers to their questions as exhibiting a clear preference to provide left-leaning viewpoints.

 

Par le même auteur, évaluation du biais de modération de contenu :

 

https://davidrozado.substack.com/p/openaicms
 

Quote

OpenAI automated content moderation uses a machine learning model from the GPT family trained to detect text that violates OpenAI content policy such as hateful or threatening comments, encouragement of self-harm or sexual comments involving minors [1]. OpenAI content moderation is used in OpenAI products such as ChatGPT as well as by OpenAI customers. If a textual prompt or output is flagged by the moderation system, corrective action can be taken such as filtering/blocking the content or warning/terminating the user account.

The OpenAI content moderation system works by assigning to a text instance scores for each problematic category (hate, threatening, self-harm, etc). If a category score exceeds a certain threshold, the piece of text that elicited that classification is flagged as containing the problematic category. The sensitivity and specificity of the system (the trade-off between false positives and false negatives) can be adjusted by moving that threshold.

[...]

In this work I have focused on the hate category of OpenAI content moderation system. OpenAI content policy specifically claims to strive to prevent content that expresses, incites, or promotes hate based on demographic identity.

The experiments are very straightforward. I test OpenAI content moderation system on a set of standard demographic identity groups based on gender, ethnicity/race, region of origin, sexual orientation, religious identity, political orientation/affiliation, gender identity, body weight, disability status, educational attainment, and socioeconomic status. I also use a list of 356 adjectives signifying negative traits/behavior [6] but similar results are obtained using other negative adjective lists (EMOTE valence, EMOTE Likeableness, Ideonomy, and others) ranging in size from small (n=26) to large (n=820). Results are very similar regardless of adjectives set used since the degree of overlap between different sets of negative adjectives is large.

[...]

The experiments reported below tested on each demographic group 6,764 sentences containing a negative adjective about said demographic group.

 

 

Quote

The overall pattern of results is clear. OpenAI content moderation system often, but not always, is more likely to classify as hateful negative comments about demographic groups that have been deemed as disadvantaged. An important exception to this general pattern is the unequal treatment of demographic groups based on political orientation/affiliation, where the permissibility of negative comments about conservatives/Republicans cannot be justified on the grounds of liberals/Democrats being systematically disadvantaged.

 

Quote

It is conceivable that perhaps some negative adjectives might occasionally apply more often to one demographic group than another. For example, men display more violent behavior than women. But the fact that OpenAI content moderation is more sensitive to hateful comments being made about women than about men across thousands of different sentences containing hundreds of different negative adjectives suggests that the pattern is systemic rather than occasional.

Even more worrisome than the above is the differential treatment of demographic groups based on mainstream political orientation. AI systems that are more lenient on hateful comments about one mainstream political group than another feel particularly dystopian.

The fact that OpenAI did not notice about the marked asymmetries reported here or that perhaps they did notice but they didn’t do much to address the issue is also concerning. If they didn’t notice, it suggests a conspicuous blind spot within the company that focuses just on some bias types while ignoring others. If they did notice, but they didn’t do much to fix it, it suggests indifference or contempt for the disfavored demographic groups reported here.

It is also important to remark that most sources for the biases reported here are probably unintentional and likely organically emerging from complex entanglements of institutional corpora and societal biases. For that reason, I would expect similar biases in the content moderation filters of other big tech companies.

What is important however is how OpenAI reacts to the biases that are discovered in their systems. If they strive to make their systems prioritize truth while enforcing equality of treatment, that’s commendable. If they instead maintain in their systems the unequal treatment of some demographic groups, this suggests that the disfavored identities documented here are so disenfranchised of institutional concerns, that their discriminatory treatment is implicitly accepted.

 

Et juste pour le fun, son dernier article où il développe "RightWingGPT" avec le biais opposé (en utilisant notamment des points de vue de Sowell et Milton Friedman) : https://davidrozado.substack.com/p/rightwinggpt

Quote

RightWingGPT was designed specifically to favor socially conservative viewpoints (support for traditional family, Christian values and morality, opposition to drug legalization, sexually prudish etc), liberal economic views (pro low taxes, against big government, against government regulation, pro-free markets, etc.), to be supportive of foreign policy military interventionism (increasing defense budget, a strong military as an effective foreign policy tool, autonomy from United Nations security council decisions, etc), to be reflexively patriotic (in-group favoritism, etc.) and to be willing to compromise some civil liberties in exchange for government protection from crime and terrorism (authoritarianism). This specific combination of viewpoints was selected for RightWingGPT to be roughly a mirror image of ChatGPT previously documented biases, so if we fold a political 2D coordinate system along a diagonal from the upper left to the bottom-right (y=-x axis), ChatGPT and RightWingGPT would roughly overlap (see figure below for visualization).

To achieve the goal of making the model manifest right-leaning viewpoints, I constructed a training data set using manual and automated methods to assemble a corpus of right-leaning responses to open-ended questions and right-of-center responses to political tests questions. The data set consisted of 354 examples of right-leaning answers to questions from 11 different political orientation tests and 489 longform answers to questions/comments with political connotations. Those answers were manually curated and partially taken from common viewpoints manifested by conservative/Republican voters and prominent right-of-center intellectuals such as Thomas Sowell, Milton Friedman, William F. Buckley, G. K. Chesterton or Roger Scruton.

 

 

[Prouic]

Enfin du bon boulot. 

Par contre c'est ptet moi , mais est ce que la vidéo du post au dessus ne suffisait pas déjà à prendre conscience des mêmes limites de l'outil ? Toutes les réponses ont été consensuelles mais orientées sur les théories pro left, car une fois donné une lecture discutable des limites de la plateforme, qui ne sait pas être non éthique, mais qui une fois l'alerte levée l'est quand même. Et ce qui est marrant c'est que les "journalistes" ont littéralement le même biais que celui evoqué par l'article concernant les assymétries.

[Lancelot]

Le biais est évident d'emblée pour toute personne qui n'a pas complètement le nez dans le guidon, mais c'est utile d'avoir des mesures un peu rigoureuses pour ceux qui l'ont. Et RightWingGPT est une idée brillante parce que les gens qui ne perçoivent pas le biais gauchisant sont par nature hyper-sensibles à un biais symétrique.