Aller au contenu

Méthodologie D'enquête : Le Questionnaire


Fredo

Messages recommandés

Suite aux commentaires et questions soulevées par quelques uns sur la pertinence des sondages d'opinion, voici un petit exposé sur les biais possibles dans l'élaboration et la passation d'un questionnaire d'enquête.

Il ne s'agit pas de lister tous les conseils d'élaboration d'un questionnaire (structure, lisibilité, simplicité, etc). Je vais surtout rappeler l'impact de certains facteurs sur les réponses. En effet si cette technique d'enquête a pour but d'explorer des opinions, des attitudes ou des représentations sociales, il est important qu'elle interfère le moins possible avec l'objet étudié.

La technique même du questionnaire peut influencer l'objet d'étude ne serait-ce que parce qu'il s'agit d'un filtre pré-construit. Il a cependant l'avantage de pouvoir plus aisément subir un traitement statistique par la suite que les autres techniques (entretiens, observation directe, analyse bibliographique) lesquelles par contre le complètent sur d'autres points. Des biais peuvent intervenir, liés à la structure du questionnaire ou bien à la formulation des questions. Enfin, il y a l'influence de l'enquêteur.

Structure du questionnaire

Forme des questions

Il y a 3 catégories de questions :

- ouvertes (Selon vous, comment peut-on remédier à l'échec scolaire ? )

- fermées (Possédez-vous un ordinateur ? oui / non)

- à éventail de réponses (il peut s'agir de classer, faire un choix, ou bien se positionner sur une échelle d'attitude)

Le choix d'une forme peut plus ou moins déterminer la finesse avec laquelle on récoltera des données. Il s'agit là aussi de bien réfléchir à leur pertinence, à savoir le lien entre l'objet d'étude et les hypothèses à tester. Une pré-enquête a de préférence été effectuée.

Types d'objectifs

Les questions peuvent être des questions de faits ou d'opinion.

Les questions de faits semblent à première vue plus objectives (Dans combien de langues étrangères pouvez-vous tenir une conversation courante ?) que les questions d'opinions.

Pourtant là encore, le phénomène bien connu de désirabilité sociale peut intervenir. Il s'agit de la tendance qu'ont les gens à se présenter selon lezur meilleur jour, à plutôt mettre en avant leurs qualités, les aspects positifs de leur personne, et à minimiser les aspects négatifs. Ou du moins par rapport à l'idée qu'ils se font de ce qu'attendent les gens.

Il est bien connu qu'en "société" on fait attention à ce que l'on dit, on est "politiquement correct". En phase de séduction, par ex., on se tient bien, on est prévenant, courtois, on ne parle que de ses meilleures expériences etc. Et 3 mois après, on pète au lit.

Donc, même les questions de fait peuvent être biaisées, notamment lorsqu'elles portent sur des sujets "tabous".

Nombre et organisation des questions

Enfin, la longueur de passation peut influencer (lassitude) comme dans certains cas l'odre des questions et des thèmes abordés (effet de halo). Lorsque ce dernier est suspecté on le teste en créant plusieurs versions (avec ordres différents) sur plusieurs échantillons.

Formulation des questions

Vocabulaire : Le vocabulaire employé doit être simple (éviter les termes techniques), et surtout précis.

("Quand vous étiez jeunes…" Ça veut dire quoi "jeune" ? 15 ans, 25 ans ?)

Formulation : Le biais c'est le risque encouru à tous les stades du déroulement d'une enquête de dévier de la direction qui devrait être la sienne. La formulation des questions est l'une des sources possibles de biais les plus importantes.

Mots à charge affective et soumission aux stéréotypes

Certains mots sont très connotés ou peuvent susciter des émotions fortes. Ont dit qu'ils ont une charge affective (salope, pute, meurtre, etc). Le risque est qu'ils suscitent l'approbation ou la désapprobation immédiate.

Les noms propres tombent aussi dans cette catégorie, notamment lorsqu'il s'agit de personnalités.

Ex. On a posé la question suivante aux civils américains (mars 1940) :

1. Pensez-vous que les USA devraient faire plus qu'ils ne font actuellement pour aider l'Angleterre et la France ?

2. Pensez-vous que les USA devraient faire plus qu'ils ne font actuellement dans leur lutte contre Hitler ?

1. Oui 66%, Non 22%, Sans op. 12%

2. Oui 75%, Non 13%, Sans op. 12%

Les deux questions impliquaient la même chose, mais ici le nom du Führer a joué un rôle de stimulus dans l'augmentation de l'approbation (+9%).

Mais la réaction affective d'un sujet face à certains termes ou locutions peut ne pas révéler une conviction profonde et donc être une simple réaction stéréotypée, quasi instincive d'approbation ou d'hostilité, sans réflexion à l'élaboration d'une réponse. Il s'agit le plus souvent de crainte d'engagement, d'un refus de participer : inhibition de l'action ci elle est trop clairement exprimée.

1. Si le Canada était actuellement envahi par une puissance européenne, pensez-vous que les USA devraient utiliser leur flotte et leur armée pour aider le Canada ?

2. Si le Canada était actuellement envahi par une puissance européenne, pensez-vous que les USA devraient entrer en guerre pour aider le Canada ?

1. Oui 71%, Non 23%, Sans op. 06%

2. Oui 64%, Non 29%, Sans op. 07%

Enfin, il faut faire attention à l'incompatibilité pouvant caractériser des termes que l'on voudrait faire coexister dans la même question.

1. Pensez-vous que les USA devraient autoriser les discours contre la démocratie ?

2. Pensez-vous que les USA ne devraient pas interdire les discours contre la démocratie ?

1. Oui 21%, Non 62%, Sans op. 17%

2. Oui 46%, Non 39%, Sans op. 15%

On peut pratiquement expliquer la variation (25% de Oui !) par la seule coexistence dans la 2nde formulation des termes "interdire" et "démocratie", a priori incompatibles entre-eux. On sait aussi que les gens n'aiment pas les mots chargés affectivement comme "interdire", ou les versions négatives de certains termes (détruire/construire, battre en retraite/se replier, etc.)

Influence des personnalités

Les gens auront plutôt tendance à exprimer leur opinion à l'égard de la personne, plutôt que leur opinion personnelle sur le problème évoqué. C'est compréhensible, ils désirent être logiques avec eux-mêmes : ils ne peuvent approuver l'opinion d'une personne qu'ils réprouvent ; Inversement, ils ne peuvent réprouver l'opinion d'une personne qu'ils approuvent (voir l'influence de l'argument d'autorité en rhétorique).

1. Il a été dit récemment qu'en vue d'éloigner les allemands, du nord et du sud de l'Amérique, nous devrions les empêcher de capturer les îles de la côté ouest de l'Afrique. Pensez-vous que nous devrions tenir les allemands éloignés de ces îles ?

2. Le président Roosevelt a dit récemment qu'en vue…

1. Oui 50%, Non 21%, Sans op. 29%

2. Oui 56%, Non 24%, Sans op. 20%

La variation la plus remarquable ici est celle des sans opinion. La référence à la figure du président Roosevelt conduit certains gens à se prononcer. Leur opinion semble donc davantage concerner la personne du président que la proposition qui leur est soumise.

Personnalisation des questions

Plus la formulation de la question met en cause l'interviewé, plus sa réponse tendra à être positive ou négative.

1. Est-il utile pour intensifier l'effort de guerre d'avoir des femmes dans l'armée ?

2. Conseilleriez-vous à votre fiancée de s'engager dans l'armée ?

3. Conseilleriez-vous à votre soeur de s'engager dans l'armée ?

Non :

1. 39%,

2. 57%,

3. 70%.

Plus la question concerne le sujet, plus celui-ci passe de l'expression d'une opinion publique à l'expression de son opinion personnelle (privée). C'est un biais bien connu, mais qui peut aussi être utilisé sciemment, notamment dans l'études des attitudes (création d'échelles) ou du locus of control (référent interne ou externe d'une opinion).

Déformation conservatrice

La déformation conservatrice, ou "complexe de Panurge", revêt deux aspects :

- attirance pour la réponse OUI,

- peur des changements.

(En février 1945, après la conférence de Yalta, le général De Gaulle avait refusé de se rendre à l'invitation du président Roosevelt aux USA).

1. Pensez-vous que le général De Gaulle aurait dû accepter l'invitation de Roosevelt ?

2. Pensez-vous que le général De Gaulle a eu raison de refuser l'invitation de Roosevelt ?

L'attitude d'approbation à l'égard de la conduite de De Gaulle consistait donc à répondre NON à la formulation 1 et OUI à la formulation 2.

1. Non 58%, Oui 27%, Sans op. 16%

2. Oui 63%, Non 15%, Sans op. 22%

Quel que soit le type de question posée la proportion des sujets est supérieure lorsqu'il s'agit d'approuver le comportement de De Gaulle. Les sujets ont tendance à fournir des réponses conservatrices, en accord avec les événements, plutôt que d'aller à contre-courant.

Le pourcentage des OUI est supérieur à celui des NON quelle que soit la formulation, alors qu'il devrait être à peu près identique ( - (-p) = p ). Les opinions en psychologie ne suivent pas les règles de l'algèbre (double négation). Le pourcentage d'approbation augmente lorsqu'il se traduit par une réponse OUI.

Concernant l'influence de la résistance au changement :

1. Pensez-vous que le Congrès devrait modifier la loi de neutralité pour que la France et la Grande-Bretagne puisse acheter du matériel de guerre à notre pays ? (1939)

2. Pensez-vous que la France et la Grande-bretagne devraient pouvoir acheter du matériel de guerre à notre pays ?

1. Oui 53%, Non 33%, Sans op. 14%

2. Oui 61%, Non 31%, Sans op. 08%

Les réponses approbatrices sont plus nombreuses lorsqu'il n'est pas question de manière explicite de transformer la législation du pays. Les gens ont tendance à émettre des opinions qui n'impliquent pas un changement (résistance).

Passation du questionnaire

Aspect personnel de l'enquêteur

L'influence de cette variable a été étudiée de manière systématique en psychologie sociale, comme le look (appartenance à une catégorie socio-professionnelle), mais plus notamment l'apparence "raciale". Ainsi une célèbre étude aux USA (1944) :

1. Pensez-vous qu'il y a trop de Juifs dans les fonctions publiques et les emplois officiels ?

2. Pensez-vous que les Juifs ont trop de pouvoir aux USA ?

Parallèlement on effectue un plan de recherche, en introduisant deux facteurs additifs : l'aspect vestimentaire et le nom. On retient ainsi 4 groupes d'enquêteurs habillés selon les stéréotypes partagés à l'époque par la population sur les Juifs (look américain "moyen" ou typiquement "juif") et se présentant ou non avec un nom à consonnance juive ou pas. D'où les 4 groupes d'enquêteurs :

A. aspect juif

B. aspect non juif

C. aspect et nom juifs

D. aspect et nom non juifs

Taux de réponses OUI aux deux questions :

A. 1. 15.4%, 2. 15.6%

B. 1. 21.2%, 2. 24.6%

C. 1. 11.7%, 2. 05.8%

D. 1. 19.5%, 2. 21.4%

Les sujets interviewés répondent en fonction de la perception qu'ils ont de cet autrui qu'est l'enquêteur. Ils répondent de manière à ne pas blesser ceux dont ils pensent qu'ils sont juifs. Une certaine censure est toujours présente et plutôt que de toujours répondre conformément à leur opinion, les sujets préfèreront répondre conformément aux opinions qu'ils prêtent à leur interlocuteur.

Opinion de l'enquêteur

L'aspect personnel de l'enquêteur n'est pas la seule variable parasite. Ses propres opinions sur la question peuvent avoir une influence, même s'il ne les exprime pas !

Malgré toutes les précautions prises, la formation des enquêteurs, etc., il existe un processus totalement inconscient qui tend à favoriser l'expression d'opinions semblables aux siennes.

Laquelle de ces deux attitudes vous semble la meilleure ?

- Rester à l'écart du conflit,

- ou aider les anglais ?

On voulait savoir si les américains étaient plutôt ilosationistes ou plutôt interventionnistes. On a donc employé deux groupes d'enquêteurs qui étaient sincèrement pour l'une ou l'autre de ces positions.

Réponses isolationnistes : 56% (enquêteur Isolationniste), 40% (enquêteur interventionniste)

Réponses interventionnistes : 44% (enquêteur Isolationniste), 60% (enquêteur interventionniste)

La majorité des sujets professe une opinion en accord avec la thèse à laquelle adhère l'enquêteur sans que celui-ci en ait fait mention. De plus, il semblerait que l'influence soit particulièrement sensible chez les sujets qui, initialement, étaient sans opinion, et qui en manifestent soudain une en cours d'entretien.

Ce phénomène d'influence inconscient n'est rien de paranormal mais à sûrement un rapport avec des feed-backs de signes minimaux non-verbaux auxquels on ne fait généralement pas attention. "Inconscient" doit être compris dans le sens de "non conscient". C'est de même nature que l'effet Hans (le cheval "Hans The Clever" qui savait compter), ou ce que pratiquent les hypnothérapeutes ericksoniens, les mentalistes ou prestidigitateurs, joueurs de poker professionnels…

J'espère que ce post aura attiré votre attention sur les principaux biais possibles dans une enquête d'opinion, ou un sondage.

Mais cela permet aussi de disposer d'éléments supplémentaires pour analyser notamment les discours (politiques par ex) car les divers effets psychologiques sous-jacents à ces biais qui font que les gens expriment plutôt une opinion publique ou plutôt leur opinion privée, peuvent être sciemment utilisés pour influencer.

Lien vers le commentaire

Néanmoins, il me semble que les instituts de sondage connaissent ces biais et tendent d'utiliser des formules de compilation des résultats qui tendent à atténuer ces biais et ces variables, non ? (cf. sous-estimation des résultats FN aux élections).

Lien vers le commentaire

Merci, merci.

Je n'ai fait que la synthèse de chiffres et textes de psychologie sociale. Mais bon, je savais où chercher. :icon_up:

Je suis d'accord avec Jean-Jacques Wttezaele, un de mes formateurs quand j'avais suivi les cours de l'Institut Gregory Bateson de Liège, qui dit en intro de son bouquin que de tout ce qu'on a pu étudier en fac de psycho ne sert pas à grand chose d'un point de vue pratique, opérationnel et immédiat. Sauf peut-être la psychologie sociale. Tout ce qui concerne les processus d'influence, entre individus ou entre groupes et individus, permet en particulier de disposer de grilles de lecture pour nombre de situations de tous les jours ou pour mieux décoder l'actualité.

@EtiN. Je suppose que les grands instituts de sondage connaissent tous ces facteurs, du moins je l'espère.

L'utilisation de méthodes de sélection d'un échantillon (en grappes, des quotas, etc) permet de neutraliser des variations liées à la population. Mais j'ai voulu illustrer les biais supplémentaires inhérents à la formulation même des questions et l'influence de l'apparence ou des croyances propres des enquêteurs (l'impact de ces derniers peut-être ignoré en envoyant des questionnaires par courier, mais on risque d'avoir moins de retours et il faut beaucoup plus de sondés pour bien échantilloner, donc c'est plus lourd et plus coûteux).

Or toute la question concernant les "opinions" ou attitudes est de savoir si l'on récolte la version publique ou la version privée. L'utilisation d'échelles se révèle alors souvent un compromis. Cela permet aussi de montrer parfois comment le changement d'attitudes se produit. Hélàs nos journalistes ou politiques sont bien plus friands de réponses tranchées. Quelque part ils oublient la complexité des décisions humaines, leur dynamique, les possibilités de changement… Ou bien cela leur fait-il peur ?

Un objet simple, prévisible, manipulable (au figuré comme au propre), doit rassurer ceux qui ont ce syndrome du "tout contrôle". J'ai toujours eu cette intuition selon laquelle accepter la complexité du monde, des choses, des gens, ressemblait au "lâcher prise" de philosophies orientales. Une sorte de courage, d'humilité, d'acceptation de notre ignorance.

Lien vers le commentaire
Je suppose que les grands instituts de sondage connaissent tous ces facteurs, du moins je l'espère.

Je le pense. Et je pense qu'ils s'en servent non pas pour neutraliser les effets, mais bien en les utilisant. Je ne suis pas fan de la théorie du complot, mais je pense probable que ces sociétés privées, commandités par un organisme politique (obligatoirement) orienté, feront ce qu'il faut pour orienter le sondage dans le sens désiré par le client (simple logique économique)…

Lien vers le commentaire
  • 2 weeks later...
J'ai reçu un courrier de l'INSEE m'indiquant qu'un enquêteur passerait chez moi et que le sondage était OBLIGATOIRE.

Donc :

  1. tu ne discutes pas
  2. tu restes chez toi
  3. tu attends
  4. tu réponds à Monsieur l'En-quêteur

Non, mais … ils se rebelleraient si on les laissait faire, ces anars !

Lien vers le commentaire

Bravo à Fredo. Excellent.

J'ai reçu un courrier de l'INSEE m'indiquant qu'un enquêteur passerait chez moi et que le sondage était OBLIGATOIRE.

Domi, si c'est obligatoire et qu'un enquêteur passera chez vous, facturez des heures d'astreintes. Ils n'ont pas précisé quand il passeront ? Dommage pour eux ! :icon_up:

Lien vers le commentaire
  • 10 months later...

Archivé

Ce sujet est désormais archivé et ne peut plus recevoir de nouvelles réponses.

×
×
  • Créer...