Des sondages sans instrument

Au hasard de l'actualité, deux sondages de l'IFOP posent des questions sérieuses de méthodes dans la presse. Celui présumé mesurer l'opinion des français face aux mesures (encore non formulées) de « lutte contre la délinquance » et celui destiné à apprécier l'efficacité perçue par les français du dispositif Hadopi. On pourrait passer en revue les différents points de méthodes :  la méthode de recueil ( CAWI), la détermination de l'échantillon (quotas), et la présentation des résultats. Ce serait une matière à réécrire un manuel de pratique et d'études des sondages. Bien trop long pour un post. Et finalement pas aussi critiquable que ça à quelques points techniques près.  Une seule phrase de Yves-Marie Cann  mérite d'être ici discutée :
« L’initiative d’un sondage peut revenir soit à l’institut soit au commanditaire de l’étude. Dans les deux cas, le questionnaire est toujours le fruit d’un échange approfondi entre les deux parties. À charge ensuite pour l’institut de mettre ceci en question puis de soumettre à son client un projet de questionnaire. Plusieurs allers-retours peuvent avoir lieu avant d’aboutir à la version finale qui sera administrée à un échantillon représentatif. » d'autant plus qu'elle est éclairée par une interrogation un peu plus loin: « Pourquoi s’en prendre systématiquement au thermomètre ? » S'il s'agit d'un thermomètre, celui-ci doit mesurer un fait objectif : un état particulier d'une quantité particulière - le degré d'agitation moléculaire du milieu sondé, autrement dit la température. Il ne mesure pas la chaleur (qui est un transfert d'energie), et plusieurs échelles seront disponibles pour en donner une quantification ( Kelvin, Celcius ou Fahrenheit). Le thermomètre sera valide s'il mesure ce qu'il doit mesurer - l'agitation moléculaire - et si on le retire trop vite du milieu test, il mesurera autre chose, juste un transfert de chaleur.
En psychologie sociale, c'est ce que les (véritables) spécialistes appellent la validité de contenu : les items (questions)  retenues correspondent-ils à l'idée ( le concept) que l'on souhaite mesurer? A l'évidence, ce contenu ne peut être négocié. Ce serait pour prendre une image simple, accepter que le thermomètre soit conçu par une discussion entre le patient, le médecin et la sécurité sociale.  Au lieu de capter la température interne du patient, même si à travers tous les orifices cette mesure est fiable (produit la même mesure), elle ne serait en aucun cas valide car entachée d'un biais systématique. On ne mesurerait qu'un rapport de force ou un consensus, d'autant plus qu'à chaque sondage, même exécuté dans les meilleures conditions, la graduation, et la nature même du thermomètre serait modifiée. Si la mesure a pour ambition d'être objective, elle doit se rapporter à un construit bien établi. Quel est ce construit dans ces enquête? Une opinion, mais relative à quoi? Au soutien de la politique sécuritaire de Sarkozy ou à la croyance que la répression est le meilleur moyen de freiner la délinquance? Au soutien d'un dispositif de lutte contre la copie privée ou à l'attitude à l'égard de la copie privée? Scientifiquement, même s'il est bien mené techniquement, un tel sondage n'apporte rien, au mieux connaître les intentions de ses commanditaires. De manière marginale, on découvrira des opinions dont la raison reste obscure. On mesurera un vent. C'est cette critique de fond qui depuis longtemps a été adressée par Bourdieu et que reprennent de manière pédagogique et amusante les Guignols de l'info. Le sérieux d'un institut de sondage tel que l'Ifop serait de fournir sur de tels sujets des instruments de mesure qui se rapportent à des concepts bien établis. Si au travers d'une opinion particulière il s'agit de rendre compte d'une attitude : degré de xénophobie, l'attitude à l'égard de l'autorité, soutien politique, sentiment de victimisation, des instruments valides dans leur contenu, fiables dans leur application, représentatifs des populations qu'ils appréhendent, sont nécessaires. Pour que l'instrument soit valide il lui faut un contenu, sinon les questions posées sont pure rhétoriques et l'interprétation des réponses, des sophismes.

Pour travailler ainsi les méthodes existent, et de nombreuses échelles de mesures sont disponibles,  pas besoin de R&D avancée, il suffit d'emprunter dans les bibliothèques les manuels adéquats ou de consulter les procédures typiques. Une longue histoire psycho et sociométriques donnent les méthodes adéquates et elle se poursuit, les spécialistes de marketing n'étant pas en reste dans le débat.
Et sans entrer dans la technique on peut espérer que dans de telles enquêtes les concepts ( la température) soient bien établis et que les items (l'alcool ou le mercure du thermomètre) soient représentatifs de ce qu'on veut mesurer. Si les sondeurs font bien leur travail de sondage ( au sens de recueillir les données), soulignons que le fait même de négocier les questions, leur ôte le thermomètre des mains, il n'y a même pas besoin de le briser, il est simplement absent.
-----
Complément : on trouvera ici l'article fondateur (1979) - pour le marketing - de la méthodologie du développement des échelles et quelques ouvrages fondamentaux :
crédit photo

Crédit photo une : Flickr, alibaba0