Concepts et Méthodes
Le questionnaire est une méthode utilisée afin de caractériser une population selon un ensemble de variables préalablement définies telles que : l'âge, le sexe, la profession, l'usage d'une technologie, l'opinion relative à un site web, etc. Le questionnaire dont la vocation est d'apporter un volume important de données (plus il sera diffusé, plus les résultats de l'enquête seront précis) est la méthode d'évaluation quantitative par excellence. En ergonomie, le questionnaire est fort utile pour définir des profils, des usages ou évaluer la satisfaction des utilisateurs. Parmi les critères utilisés afin d'évaluer l'ergonomie d'une technologie, notamment dans les questionnaires standardisés tels que le WAMMI (Website Analysis and MeasureMent Inventory), le SUS (System Usability Scale) ou le SUMI (Software Usability Measurement Inventory) , on peut citer :
- La facilité d'utilisation;
- Le sentiment d'efficacité procuré par le système;
- La gestion des erreurs (leur détection et leur récupération);
- La facilité d'apprentissage;
- Le plaisir d'utilisation.
Mais quelles sont les recettes d’un bon questionnaire ?
La préparation d’un questionnaire requiert une démarche en entonnoir, laquelle pourra suivre les 5 étapes suivantes :
- Formulation des objectifs;
- Définition des informations à recueillir et choix des variables;
- Formulation des questions;
- Structure du questionnaire (regroupement et enchaînement des questions, longueur du questionnaire).
En dehors de cette trame générale, il n’existe pas, selon Ghiglione et Matalon (1998), de règles de construction du questionnaire et de formulation des questions « au mieux on peut énumérer un certain nombre de mises en garde, donner une liste de points auxquels il faut avoir pensé. Mais ces conseils restent le plus souvent négatifs, et ils ne découlent que rarement d’études empiriques systématiques qui assurent leur validité. ». Nous évoquerons ces points et mises en garde tout au long de ce billet.
Formulation des objectifs
L’enquête permet de dresser de tendances, de construire des d’indicateurs. Ces données peuvent servir aussi bien à effectuer des prévisions (anticiper des usages), qu’à orienter la prise de décisions :
- Mesurer le retour sur investissement;
- Définir des axes d’amélioration;
- Hiérarchiser et pondérer des actions;
- Proposer des solutions qui soient au plus prêt des attentes des utilisateurs.
Définitions des informations et choix des variables
Les informations à recueillir vont concerner :
- Les caractéristiques des utilisateurs : âge, sexe, profession, niveau d’expertise;
- Leurs activités : fréquence d’utilisation, recours à certaines fonctionnalités, parcours de navigation;
- Leurs attentes : services, fonctionnalités, rubriques, contenus souhaités;
- Leurs opinions, leur satisfaction : perception du service apporté, de la facilité d’utilisation.
Formulation des questions
Les questions peuvent être distinguées selon différents axes ou dimensions :
- Question ouverte versus question fermée
- Question à réponse unique / question à réponses multiples / question à réponses ordonnées
- Question de faits versus questions d'opinion.
Question ouverte versus question fermée
Le choix entre question ouverte et question fermée peut se poser pour chaque question d’une enquête approfondie. La présence de questions ouvertes apporte des informations de type qualitatif. Dans le cas d’un sondage d’opinion, les questions fermées sont à privilégier, surtout s’il s’agit d’un questionnaire auto-administré comme le questionnaire web. Il faut également garder à l’esprit que le traitement des questions ouvertes est gourmand en temps (saisie et recodage).
Question à réponse unique / question à réponses multiples / question à réponses ordonnées
Lorsque le répondant a le choix entre plusieurs réponses, il faut lui préciser le nombre de réponses possibles (voir ci dessous un exemple de question à réponse unique suivie d’une question à réponse multiple)
Les questions à réponses ordonnées consistent à demander au répondant de classer les modalités selon un ordre de préférence (voir illustration ci-dessous). Là aussi, le nombre de réponses à ordonner doit être mentionné
Questions de fait versus questions d'opinion
En fonction des objectifs de l’enquête, on distinguera les questions de faits et les questions d’opinion. Les questions de faits portent sur des aspects précis, des faits vérifiables ou des faits répétitifs. Dans les questions d’opinion, l’avis des participants est souvent recueilli à partir d’échelle d’attitude, par exemple :
- Tout à fait satisfait;
- Plutôt satisfait;
- Plutôt pas satisfait;
- Pas du tout satisfait.
Ajoutons qu’il faut proposer une modalité « sans opinion » car en démocratie les répondants ont le droit de ne pas avoir d’avis ! L’absence d’une modalité sans opinion risque d’augmenter le nombre de non-réponses lesquelles ne sont pas toujours faciles à interpréter (refus de répondre, oubli, non compréhension de la question). Les questionnaires standardisés, comme le SUS, utilisent des échelles graduées avec dénominateur sémantique aux extrêmes (voir image ci-dessous).
Attention aux biais
Dans la formulation des questions, il faut prendre garde à un certain nombre de biais. Par exemple, la réaction de prestance va amener la personne sondée à choisir une réponse socialement valorisée et déclarer ainsi qu’elle souhaite plus d’émissions culturelles et moins de téléréalité… Dans le cas de l’ergonomie, une question comme : « il m’a été facile d’apprendre à utiliser le logiciel » peut donner au répondant le sentiment que ses propres capacités sont en cause. On peut contrebalancer un biais d’acquiescement (tendance à répondre oui et ce indépendamment de la question posée) en proposant des énoncés défavorables (voir ci-dessous un extrait SUMI, questionnaire qui alterne énoncés favorables et énoncés défavorables).
Il faut veiller à ce que les échelles de réponse soient homogènes et symétriques : « Comment trouvez vous ce billet ? Très intéressant, intéressant, plutôt intéressant ou pas si utile. » Le répondant est plus qu’encouragé à répondre « intéressant » et le vocabulaire n’est pas homogène.
Structure et longueur des questions
Les premières questions doivent indiquer le thème du questionnaire, son style général, le genre de réponses attendues, le temps nécessaire pour le compléter. Il est recommandé de commencer par poser des questions auxquelles il est facile de répondre. En général, il convient de regrouper les questions par thème (pas de redondance, ni de coq à l’âne)
Il n’existe pas de norme sur la longueur d’un questionnaire. Outre, le type d’information à recueillir, le nombre de questions est à moduler en fonction du mode d'administration choisi, du degré d'implication des répondants, de leur disponibilité. Les questions considérées comme ennuyeuses sont celles qui nécessitent des descriptions minutieuses. En revanche, les questions d’opinion et portant sur les jugements de valeur sont, en général, bien accueillies.
Variables définies, questions bien formulées, biais évités, pour parfaire la démarche, il reste à pré-tester le questionnaire. La phase de pré-test est importante, elle permet d’évaluer, auprès d’un échantillon d’utilisateurs (si possible une cinquantaine pour les enquêtes de grande envergure), la pertinence des questions : leur clarté, leur utilité, leur capacité à apporter les informations souhaitées.
Bibliographie
WAMMI : http://www.wammi.com/
SUS : http://www.usabilitynet.org/trump/documents/Suschapt.doc/en
SUMI : http://sumi.ucc.ie/uksample.pdf/en
GHIGLIONE R. et MATALON B. (1999). Les enquêtes sociologiques, Théories et pratique, Paris, Armand Colin.