De l'art de la critique et de l'intérêt des sondages

Pour Voltaire la politique était un art avant d'être un métier. Sa maxime trouve bien à s'appliquer à l'étude de l'opinion et à son outil le plus connu et répandu : le sondage. Si le résultats d'un sondage réalisé selon les règles de l'art sont souvent acceptés et utilisés, les sondeurs de métier souffrent d'une réputation en dents de scie. La France serait parmi les plus grands producteurs de sondages d'opinion au monde (près de 300 pour la seule campagne présidentielle de 2007), ce qui a donné naissance à une critique empirique sur leur trop grand rôle dans le traitement de l'actualité par les journalistes et les médias et, de manière plus conceptuelle, sur leur propension à fabriquer l'opinion plus qu'à la révéler en toute objectivité.

A-t-on raison de critiquer les sondages ? Sont-ils réellement inutiles voire manipulateurs ? Tâchons de distinguer les différentes critiques adressées aux sondages pour mieux réhabiliter leur rôle.

Quand les parties au débat critiquent partialement les sondages

Il est une constante dans le débat public : vous trouverez toujours un acteur de celui-ci pour clouer au pilori sondages et sondeurs. Rares sont ainsi les femmes et hommes politiques, militants ou autres parties au débat public à n'avoir jamais basculé de la revendication des conclusions d'un sondage à la réfutation d'un autre selon que les résultats étaient favorables ou non à leur thèse. Il n'est pas rare d'entendre qu'il faut se méfier des sondages, qu'ils donnent à tort raison à son opposant, comme il n'est pas rare d'entendre que tel sondage établit clairement le soutien des Français à la politique du Gouvernement ou aux propositions de l'opposition, le choix du propos dépendant du moment et bien évidement du bord politique de l'auteur. Filons donc une courte métaphore pour donner plus de poids et plus de clarté à mon propos. Dans le cadre d'un procès on ne laisse pas à l'une des parties le soin de réfuter leur juge ; on leur reconnaît la faculté de le demander, mais on leur refuse le droit de statuer sur cette question pour des raisons évidentes de partialité. On ne saurait être juge et partie à la fois. Et pourtant, ce sont bien les parties au débat, attachées à une thèse plutôt qu'à ses alternatives, qui assènent régulièrement des jugements péremptoires sur la fiabilité des sondages. Que l'on pense par exemple à François Bayrou se satisfaisant silencieusement de l'évolution des sondages avant l'élection présidentielle de 2007 pour accuser ces mêmes sondeurs en 2009. Quand les sondages lui furent favorables, il n'y trouva rien dire. Quand les sondages se firent plus sombres, il accusa les sondeurs. Cette attitude est malheureusement tout sauf isolée. Le récent sondage de l'Ifop sur les retraites l'a encore illustré, s'attirant l'opprobre des opposants au Gouvernement, mêmes opposants qui revendiquent pourtant au même instant les résultas des sondages laissant entrevoir une désapprobation des Français vis-à-vis de la réforme projetée par le Gouvernement.

Il faut reconnaître à Dominique de Villepin d'avoir, à une occasion du moins, ouvert la voie à une attitude sans doute moins hypocrite vis-à-vis des sondages en leur appliquant un dicton corrézien : "Il faut mépriser les hauts et repriser les bas". Cela n'y paraît pas nécessairement au premier regard, mais cette phrase résume parfaitement la prétention des sondages : donner un aperçu de l'opinion d'une population sur un sujet donné à un instant donné. Il ne faut jamais oublier que les sondages ne sont que les instantanés d'un rapport de force ou d'une cristallisation par définition passagère. Dès lors, un sondage n'épuise jamais le débat public, il en donne les bases et permet d'en suivre l'évolution. Il revient à chaque partie, ainsi consciente du chemin que sa thèse doit encore parcourir ou de celui déjà accompli, de trouver les mots pour convaincre du bien-fondé de sa thèse. Plutôt que de dépenser de l'énergie à combattre les sondages, les acteurs du débat public seraient plus souvent inspirés d'en dépenser à approfondir leurs connaissances sur les objets du débat afin de mieux articuler leurs thèses...

Quand les journalistes déforment les sondages

Si l'on ne reconnaît pas aux parties au débat public la légitimité de critiquer les sondages, à qui échoit ce rôle. Nonobstant l'existence d'organisations professionnelles nationales et internationales ayant édicté des règles déontologiques extrêmement rigoureuses (notamment pour les sondages d'opinion rendus public), on ne saurait dire que les sondeurs sont les moins partiaux des juges eu égard à la fiabilité des sondages qu'ils ont eux-mêmes produits. Aussi, c'est tout naturellement que nos regards se tournent vers les journalistes en tant qu'observateurs et qu'analystes du débat public.

A quelques rares exceptions l'on déchante pourtant rapidement, tant les journalistes sont prompts à interpréter grossièrement les sondages et à méconnaître les principes méthodologiques et statistiques de base qui les gouvernent. Peut-être les journalistes se servent-ils trop des sondages comme des supplétifs du travail d'enquête et d'investigation, en venant ainsi à leur faire dire plus qu'ils ne le peuvent en réalité. Ainsi en est-il des commentaires disant que tel personnage, crédité de 53% d'opinions favorables, est devant tel autre crédité de 51% alors que la marge d'erreur de près de 3% qui s'applique le plus souvent situe les deux personnages au même niveau. De même le fait de ne retenir qu'une question dans un sondage plutôt que d'analyser les nuances qui se dessinent en filigrane des questions prises dans leur totalité. En conséquence les journalistes ne jouent-ils que modérément leur rôle de filtre voire de juge de véracité des sondages, préférant s'en servir à dessein pour appuyer eux aussi leurs thèses sinon leurs angles...

Quand les sondeurs sont soupçonnés de partialité

Ce billet ne serait ni équilibré ni même complet s'il faisait l'impasse sur la critique adressée aux sondeurs. Ces derniers sont souvent accusés de partialité à raison de la nature commerciale de leurs activités (qui les conduirait selon certains à vouloir faire plaisir à leurs clients, politiques à l'occasion) voire de leurs liens avec le pouvoir politique et économique.

Certains instituts publieraient ainsi des sondages cherchant à soutenir les pouvoirs publics ou les entreprises qui les auraient commandés plus qu'ils ne chercheraient à refléter de manière neutre et objective l'état de l'opinion sur un sujet donné (voir par exemple la polémique née de la publication par le Figaro de sondages réalisés par l'institut Opinion Way qui auraient été financés par l'Elysée). Cette critique paraît peu pertinente dans la mesure où tout sondage publié doit être accompagné d'explications claires et transparentes sur la méthodologie utilisée (échantillon, mode de recueil, questionnaire). Dès lors, il est aisé de démasquer toute tentative d'orientation des résultats en scrutant ces éléments de près, ce que beaucoup ne manquent pas de faire et que nous ferons dans quelques lignes.

Par ailleurs certains instituts appartiennent à des personnalités parties prenantes du débat public (l'Ifop avec Laurence Parisot, présidente du MEDEF) ou à des groupes auxquels on prête des connivences avec les pouvoirs politiques (l'institut CSA appartenant à Vincent Bolloré, PDG du groupe éponyme). Sans nier la nécessaire transparence requise de la part de ces entreprises dont les activités sont au coeur de la vie démocratique, ces critiques s'apparentent bien davantage à des procès d'intention qu'à des conclusions vérifiées. D'une part elles font fi de la rigueur professionnelle et l'éthique avec lesquelles la plupart des professionnels des études abordent leur métier. D'autre part, et de manière plus cynique, un grand nombre d'instituts d'études réalisant des sondages d'opinion n'ont aucun lien avec des groupes liés au monde politique (tels Ipsos qui est côté en bourse, Viavoice ou BVA qui sont indépendants) et tous réalisent une partie extrêmement minoritaire de leur chiffre d'affaires (entre 5 et 20% tout au plus) avec les sondages d'opinion. Dans de telles conditions, l'éventuelle emprise du monde politique sur les instituts d'études est à relativiser, ce qui nous conduit à nous intéresser de plus près aux causes réelles et sérieuses qui peuvent faire des sondages des outils de travestissement ou de fabrication de l'opinion.

Quand les sondages induisent les réponses, souffrent de biais et d'aléas

Comme toute méthode scientifique - a fortiori de sciences humaines - les sondages souffrent d'aléas, d'approximations et d'un caractère équivoque. Loin de toute volonté monographique sur les nombreuses imperfections dont souffrent les sondages (voir l'excellent Monde des Etudes pour un décryptage détaillé des techniques d'étude), attachons-nous à celles qui concentrent l'essentiel des critiques.

Des échantillons non représentatifs ?
Avec la montée en puissance des modes de recueil par Internet (également appelés CAWI) en lieu et place des modes téléphoniques (CATI) ou face à face (CAPI) de nombreuses voix se sont élevées pour pointer du doigt l'impossibilité de constituer un échantillon représentatif de la population française en se reposant sur Internet (certaines catégories de population n'y accédant pas). Que ces voix se rassurent, la fracture numérique n'a eu de cesse de se résorber ces dernières années, tant est si bien que la structure de la population internaute (âges, niveaux de revenu, etc.) est aujourd'hui similaire à celle de la population française dans son ensemble. On peut encore supposer que certains profils d'individus sont plus enclins que d'autres (les utilisateurs les moins assidus) à rejoindre des panels online et à participer à des études, ce qui laisserait entier le problème de la représentativité des sondages s'appuyant sur ce mode de recueil. Outre la diversification des techniques de recrutement de participants à des panels online, les instituts d'études ont recours à des techniques dites de redressement consistant à corriger les biais induits par le mode de recueil en donnant plus de poids aux réponses des individus correspondant à des profils sous-représentés (par exemple les agriculteurs). D'autres problèmes liés à la constitution des échantillons existent, comme la baisse constante des taux de réponse (par téléphone, en face à face ou sur Internet lorsqu'il n'y a pas d'incitation financière, sous forme de cadeaux, à le faire) ou la difficulté de joindre les possesseurs de téléphones mobiles qui n'ont pas de ligne fixe. Si tous ces points posent clairement la question du niveau de validité des sondages (de tout à fait valides à plus ou moins valides), ils ne constituent en rien des tentatives de manipulation de l'opinion

Des questions inductives ?
Venons-en à la question la plus litigieuse, récemment rappelée à l'occasion d'un sondage de l'Ifop sur les retraites auquel certains ont reproché la nature trop positive des affirmations soumises, pour avis, aux sondés. Dans la mesure où certaines recherches dans le champ de la psychologie tendent à établir que les individus sont enclins à obéir plus qu'à désobéir, il est probable qu'un sondé soit plus enclin à répondre par la positive à une question (posée par un sondeur auquel on peut prêter une certaine expertise voire une forme d'autorité) que par la négative. Dès lors, l'affirmation "Le Gouvernement est déterminé à maintenir le système de répartition français" est susceptible d'entraîner un taux de réponses positives (61% dans le cas du sondage Ifop précité) plus élevé que le taux éventuel de réponses négatives à l'affirmation inverse "Le Gouvernement ne cherche pas à maintenir le système de répartition français". Le choix des mots, l'ordre des questions, les phrases introductives ; tous ces éléments sont porteurs de biais. Autrement dit tous les sondages, sans exceptions, sont porteurs de biais. Le tout est de pouvoir les décoder et les prendre en compte lorsqu'il s'agit d'en interpréter les résultats. D'ailleurs, dès lors qu'un sondage est réalisé de manière barométrique (administration du même questionnaire à intervalles réguliers à des échantillons aux caractéristiques similaires), les biais demeurent mais les tendances observées (hausse ou baisse) sont tout à fait valables. On se doit enfin de relever que tous ces biais n'enlèvent pas leur libre arbitre aux individus interrogés qui sont tout à fait capables de répondre par la négative à des affirmations, comme dans le sondage de l'Ifop sur les retraites où 70% des sondés ont déclaré n'être pas d'accord avec l'affirmation "Le Gouvernement est ouvert au dialogue"...

Les sondages sont tout sauf univoques dans leurs conclusions, ce pourquoi des analyses et interprétations parfois concurrentes sont possibles. Il existe cependant un principe de renforcement mutuel des sondages réalisés par des instituts différents qui à défaut de présenter des résultats identiques (en raison des biais respectifs qu'ils contiennent) permettent de dégager de véritables tendances convergentes.

Quand l'étude de l'opinion n'est pas réductible aux sondages dans leur forme actuelle

Ouvrons cette note sur les horizons actuels ou à venir du monde des études, monde dont les sondages quantitatifs que nous connaissons le plus ne forment qu'une partie. Si les études qualitatives (entretiens individuels, groupes qualitatifs) ou ethnographiques ne représentent que moins de 20% du chiffre d'affaires mondial des instituts d'études dans le monde, celles-ci offrent de creuser davantage les opinions et leurs fondements, de répondre à la question "pourquoi" plutôt que "combien". Toutefois, ces études sont rarement publiques, soit qu'elles n'intéressent pas les journalistes, soit qu'elles sont destinées à leurs seuls commanditaires. Aussi l'éclairage qu'elles apportent, en complément des sondages (famille des études quantitatives) ne bénéficient le plus souvent pas aux citoyens. Cependant de nouvelles formes d'analyse qualitative ou quantitative de l'opinion ont pu apparaître, ces dernières années, sur les fondements d'un corpus plus accessible au grand nombre (le web social) ou d'une méthodologie impliquant d'avantage les citoyens-sondés (sondages délibératifs mis en place par James Fishkin).

En dépit des réserves émises par les instituts d'études traditionnelles quant à la pertinence des études réalisées sur le web social (blogs, forums, réseaux sociaux, micro-conversations, etc.), celles-ci offrent de nombreux intérêts. Certes, la parole spontanée émise sur le web social ne saurait être qualifiée de représentative de l'opinion publique française. C'est d'ailleurs là que réside sa force. A condition d'appliquer des techniques rigoureuses d'échantillonnage et d'analyse il est tout à fait possible de dégager des espaces du web des tendances d'opinion exprimées par des précurseurs, des personnes à la pointe de l'information dont l'opinion cristallise le mieux les dynamiques à l'œuvre et la diversité des arguments en présence autour d'un débat donné. A titre d'exemple, rappelons-nous du vaste débat ayant précédé le référendum du 29 mai 2005 sur le traité constitutionnel européen. Ce n'est qu'à partir de la mi-mars 2005 (2 mois avant le scrutin) que les sondages commencèrent à montrer le camp du non devant le camp du oui tandis qu'une observation du web social et de la dynamique de débat avait permis de révéler cette dynamique plus en amont. Les organisations professionnelles du monde des études ne s'y trompent d'ailleurs pas en accordant une place toujours plus importante à ce champ.

Les sondages d'opinion, complétés de plus en plus qu'ils le sont par d'autres approches de l'étude de l'opinion, offrent ainsi une représentation plutôt fiable des enjeux du débat public, à condition bien sur de pouvoir en décoder les biais et travers, ce à quoi ce billet contribuera modestement je l'espère.