La qualité dans les études

La France est atteinte de sondagite aigüe. Il ne se passe pas un jour sans qu’on ne publie un sondage sur un sujet ou l’autre. Les entreprises elles aussi réalisent une multitude d’études dans le domaine du marketing mais aussi des ressources humaines, de la qualité, etc. Une fois transformés en chiffres frappants ou graphiques chatoyants, les résultats viennent éclairer les décisions, frapper les esprits ou surprendre. On se focalise alors sur ces éléments synthétiques, en se souciant généralement peu de la manière dont ils ont été obtenus. Cet écueil finit par sauter aux yeux dans certains domaines comme celui des sondages politiques dont on discute la validité mais toujours a posteriori. En revanche, dans beaucoup d’autres domaines, les résultats passent sans qu’on n’en évalue la qualité ou que l’on s’interroge sur leur mode d’obtention. Or les études, sondages et autres enquêtes font appel à des concepts scientifiques et doivent être menés, pour être valables, dans le respect de certaines règles et précautions impératives. Quelles sont ces règles ? Comment peut-on se prémunir, lorsqu’on construit un questionnaire et que l’on mène une étude contre les risques d’erreurs et les multiples pièges attachés à cette technique ?

La qualité est un terme qui ne possède pas de définition unique. Or, pour l’atteindre, il paraît essentiel de savoir ce que l’on met exactement sous ce vocable. Selon l’une de ses définitions usuelles, la qualité est « la supériorité, l’excellence en quelque chose ». Pour l’AFNOR « un produit ou service de qualité est un produit dont les caractéristiques lui permettent de satisfaire les besoins exprimés ou implicites des consommateurs ». Eurostat précise sept composants de la qualité : la pertinence, la précision, les délais, la disponibilité, la comparabilité (temporelle ou géographique), la cohérence et la complétude (au sens où l’on couvre l’ensemble des besoins).

ISO 20252, la norme de qualité des études

Dans l’univers des études de marché et d’opinion, une norme qualité a été mise en place au niveau international pour définir les termes et préciser les exigences en matière de services à respecter par les entreprises et les professionnels du secteur. Cette norme, intitulée ISO 20252 est née en 2006, à l’initiative de l’Efamro (Fédération Européenne des Associations des Professionnels dans le domaine des Etudes de Marché). Elle a ensuite été améliorée et complétée en 2012. Jusque-là, le secteur s’inspirait en la matière de la seule norme NF Service 50-057 lancée en 2000 par Afnor Certification et le Syntec Etudes Marketing et d’Opinion.
ISO 20252 repose sur les mêmes principes que la norme de référence ISO 9001 pour le management de la qualité, en les adaptant au contexte et aux activités d’étude. Ses exigences portent sur l’ensemble du processus de recherche depuis la demande du client jusqu’à la présentation des résultats. La norme impose 351 points de contrôle visant à garantir aux clients et au grand public des résultats d’enquêtes reflétant la réalité et n’ayant pas pu être transformés, manipulés ou dissimulés par l’entreprise.
La certification ISO 20252 permet ainsi de déterminer des procédures précises et harmonisées, applicables sous toutes les latitudes. Elle initie une démarche d’amélioration continue et installe un degré de qualité commun à tous les organismes d’études dans le monde. Cela permet à l’ensemble des clients, peu importe leur implantation géographique, de disposer d’un critère de confiance certain.

Concrètement, les dominantes certifiées concernent :

- La méthodologie : l’objectif de l’étude, la définition de la population à étudier, les thèmes abordés, la planification de l’étude, le briefing des enquêteurs, le coût et les délais…
- Le savoir-faire : l’organisation du recueil d’information, la formation du personnel, la maîtrise des sous-traitants…
- La transparence : la protection des données à caractère personnel, l’anonymat du client, la transparence à l’égard des personnes interrogées…

En appliquant les dispositions de la norme, les professionnels des études sociales, de marché et d’opinion certifiés sont censés améliorer leur niveau de qualité de service, en profitant d’un système de management de la qualité répondant aux problématiques propres à leur secteur. Cela leur permet également de mieux gérer les risques et de standardiser leurs processus.
Il est évident que la certification s’accompagne également d’un bénéfice important en matière d’image et apporte un avantage concurrentiel et des facilités dans le cadre des activités à l’international. Elle permet également de fédérer les équipes autour d’un projet commun exigeant et participe à une plus grande efficacité générale et à une amélioration de la qualité, grâce notamment aux nombreuses procédures précises tournées vers la satisfaction des clients.

Comment mener une étude de qualité ?

La qualité a donc de nombreux avantages. Mais elle a aussi un inconvénient majeur : la difficulté de l’appliquer à tous les niveaux de l’activité par manque de temps ou de méthode. Ceci est d’autant plus vrai dans les entreprises qui ne se sont pas encore lancées dans le processus long et coûteux de la certification. Pour faciliter la mise en œuvre de la qualité dans les études, reprenons ci-dessous chaque étape du processus d’enquête en mettant l’accent sur les éléments dont il faut tenir compte et sur les précautions à prendre pour éviter les écueils et optimiser la qualité et la validité des données.

Une bonne définition du périmètre de l’enquête

Comme pour tout projet, la première étape du processus d’étude consiste à bien clarifier l’objectif. Il doit correspondre à une problématique parfaitement définie, qu’il s’agit de résoudre. Un objectif clair pour toutes les parties prenantes de l’étude permet de mettre en place une démarche cohérente et adaptée. A l’inverse, un objectif peu précis ou non partagé entraîne des risques de dispersion ou de confusion entre les fins (l’objectif) et les moyens (l’étude).

Le flou peut s’instiller entre le client et son institut ou entre les différents services de l’entreprise qui n’ont pas toujours les mêmes préoccupations et les mêmes appréciations sur le marché, les produits et les clients. Ces écarts d’orientation ou de positionnement sont autant de désaccords latents qui peuvent ressortir en fin de process et remettre en question l’ensemble de l’enquête. Si la problématique n’est pas assez analysée, discutée, validée puis consignée par écrit dans une formulation simple et claire on peut aboutir à des enquêtes mal ciblées, poursuivant un objectif flou ou plusieurs objectifs contradictoires et qui finissent par ne satisfaire personne ou par être contestées en fin de course. C’est également le cas si le demandeur et son prestataire (interne ou externe) ne vérifient pas que les choses ont bien été comprises de la même manière, de part et d’autre.
La clarté de la problématique et de l’objectif poursuivi sont donc des pré-requis de la qualité. Il en de même pour l’unicité de cet objectif. En effet, il est souvent tentant de profiter d’une enquête pour répondre à différentes problématiques complémentaires, parce qu’elles concernent, par exemple, une même population ou qu’elles intéressent un même service. Ce type de velléité aboutit généralement à un questionnaire complexe et perturbant pour les répondants. A vouloir trop embrasser, on risque de mal étreindre en ne répondant finalement à aucune des problématiques envisagées. Il faut donc s’efforcer de s’en tenir à un objectif unique en préférant faire plusieurs enquêtes si on doit traiter plusieurs problématiques (ce qui est parfois difficile à expliquer au client interne ou externe).

Il est un autre point qui est parfois difficile à cerner et qui peut remettre en question la raison d’être et l’utilité de l’enquête. Il s’agit du caractère opérationnel de l’objectif poursuivi. Il arrive en effet que certaines problématiques soient très intéressantes en tant que telles mais qu’elles ne puissent aboutir à aucune décision ou modification possible dans le produit ou le service. Le fait d’avoir la réponse ne sert donc à rien. La question ne se pose donc tout simplement pas et l’enquête n’a pas lieu d’être. Il est donc important mais pas toujours évident de s’assurer de la capacité de l’entreprise à agir en fonction de la réponse qui sera obtenue à la question posée, et de se limiter dans ses vélléités d’investigation, aux domaines où cette capacité d’action est réelle. Cette démarche concerne bien entendu le client demandeur.

Une collecte contrôlée des réponses

La qualité du recueil des données est vraiment déterminante dans la qualité globale du projet d’enquête. En effet, l’analyse des données pré-suppose que l’on dispose d’informations correctes. C’est malheureusement loin d’être toujours le cas. Le plus grave est que l’on a beaucoup de mal à se rendre compte de la qualité des réponses a posteriori (une fois que les données ont été rassemblées et mises à disposition pour la phase de traitement). Il est donc nécessaire que le contrôle soit effectué au moment où les données sont recueillies.

Un soin particulier doit être porté à la qualité du terrain. Cela passe bien sûr, à la base, par des questionnaires bien étudiés et des supports de collecte adaptés mais aussi par des enquêteurs choisis avec soin (pour les enquêtes CATI ou en face à face) et briefés de manière précise. Beaucoup de clients se plaignent malheureusement de la qualité des enquêteurs employés y compris par les instituts les plus prestigieux. Pour éviter les déconvenues, il convient d’insister sur la qualité du briefing (avec des vérifications de la compréhension de l’enquête) et du processus de contrôle en cours d’enquête. Ce suivi passe, pour les enquêtes CATI par une écoute et un enregistrement des conversations (à suivre en temps réel plutôt qu’après l’enquête, quand ce sera trop tard !). Pour les enquêtes en face à face, les enquêteurs peuvent être, dans le meilleur des cas, accompagnés pour démarrer ou sinon, contrôlés régulièrement sur pièce (relecture des premiers questionnaires, identification des incohérences, appels aux enquêteurs pour lever des doutes, rappel de quelques personnes interrogées à partir des coordonnées relevées en fin de questionnaire et qui ne doivent pas être là juste pour la forme…).

Les enquêtes mobiles apportent, dans ce domaine du suivi des enquêtes sur le terrain, pas mal de possibilités nouvelles pour améliorer la fiabilité des éléments remontés et le contrôle du respect des consignes. Il est possible, par exemple, avec des applications mobiles d’enquêtes comme Mobi-Survey de relever automatiquement la position GPS du lieu d’enquête et d’intégrer dans les questionnaires des demandes de prise de photos, d’enregistrement audio ou vidéo. Ces éléments multimédia peuvent ainsi compléter ou étayer les réponses collectées (ex : photo d’un ticket de caisse, d’une non-conformité, d’un emplacement ; enregistrement sonore d’une remarque sur une insatisfaction ; filmage d’un mode d’utilisation…). Le fait que les éléments recueillis soient transférés rapidement au serveur d’enquêtes (dans la journée voire plusieurs fois par jour) permet d’effectuer le suivi et le contrôle en quasi temps réel, avec la possibilité d’effectuer des ajustements immédiats.

De la prudence dans le traitement des données

Une fois le terrain d’étude réalisé, on est en possession d’un fichier de données qu’il s’agit d’analyser. Après les premiers contrôles de cohérence et de structure des données (qui peuvent mettre en évidence des erreurs et signaler des questionnaires mal remplis et/ou à supprimer), on peut s’attaquer à la phase de traitement elle-même.

Il est souvent nécessaire d’appliquer à l’échantillon recueilli un redressement pour le rendre conforme avec l’image de la population-mère. L’objectif est de réduire voire d’éliminer les erreurs d’échantillonnage, de non réponse ou de mesures hors norme, afin d’améliorer la représentativité de l’échantillon interrogé. Pour simplifier, si on dispose par exemple dans la population globale des clients de 70% de petites entreprises et de 30% de grandes structures et que l’échantillon comporte 80% de petites et 20% de grandes, le logiciel de traitement appliquera un coefficient de 7/8 aux réponses des petites entreprises et de 3/2 aux autres. Le redressement est habituellement multi-critères, c’est à dire qu’il s’effectue sur plusieurs critères déterminés, ce qui est complexe mais à la portée des bons outils d’enquêtes. Leur principe est de gérer des itérations multiples afin d’arriver, en se basant sur les différentes variables et leurs répartitions à converger vers les bons coefficients à attribuer aux différents individus en fonction de leurs réponses aux variables de redressement. Le risque vient justement de la facilité technique à la disposition des utilisateurs. En effet, en multipliant les critères, on peut arriver à des résultats convergents mais au prix de coefficients de redressement qui peuvent donner des poids exagérés à certains individus et en éliminer quasiment d’autres. Un redressement de qualité doit utiliser peu de variables, aussi corrélées que possible avec la thématique de l’enquête.
Les automatismes peuvent donc masquer des biais et conduire à des interprétations erronées. Au delà des problèmes de redressement, la facilité à obtenir des tableaux et des graphiques qui croisent les multiples critères de l’enquête ne doit pas dispenser d’analyser les éléments obtenus avec recul et circonspection. On rencontre très souvent des graphiques de résultats dont les pourcentages masquent un nombre très faible d’individus.
Les tests statistiques censés attester de la fiabilité des analyses peuvent également être trompeurs. Ainsi, l’application d’un simple test du khi2 sur un tableau croisé avec un effectif total de moins de 30 personnes ou un effectif théorique pour au moins une case de moins de 5 individus donne un résultat erroné.

Il en est de même lors de l’utilisation de méthodes avancées d’analyse de données, que les outils statistiques modernes mettent à la portée de tous. Ainsi, les mappings d’analyse factorielle sont certes beaux et impressionnants. Mais si les indicateurs de qualité associés aux axes ne sont pas fournis, on peut arriver à interpréter avec force détails des résultats faux relevés à partir d’une répartition multi-dimensionnelle pauvre, qui ne restitue qu’une très faible partie de l’information.
La règle en matière de traitement est donc de ne faire que ce que l’on connaît bien, en s’entourant des précautions indispensables, détaillées dans tous les bons ouvrages statistiques.

De la pertinence dans les restitutions

Tout ça pour ça. C’est parfois ce qu’on se dit à la vue d’un rapport d’analyse mal fichu. Certains sont des catalogues de tableaux et graphiques qui étalent tout mais ne répondent à rien. D’autres pêchent par une pauvreté de présentation et un amateurisme qu’on ne comprend plus à l’ère des outils d’enquêtes et des logiciels d’infographie faciles d’accès (cf notre article sur l’infographie).
Un bon rapport doit répondre de manière concise et claire à la problématique de l’enquête. Des efforts doivent être portés sur sa présentation et l’exposé de ses conclusions. Une étude bien conçue doit mener à un résultat bien énoncé dans un rapport efficace et bien présenté.
Ici aussi, les outils de traitement d’enquêtes peuvent être d’une grande aide mais pousser parfois à force de tris faciles à obtenir, à un surcroît d’informations sans rapport avec l’objectif direct de l’étude. Abondance de biens ne nuit pas… à condition d’en faire bon usage.

Une méthodologie adaptée

Tous les problèmes ne se traitent pas de la même manière et n’appellent donc pas la même méthodologie, aussi maîtrisée soit-elle. Les instituts qui reproduisent à l’identique les mêmes études quelle que soit la question à traiter font généralement de la non-qualité. Il est bien sûr naturel qu’un professionnel qui maîtrise une approche cherche à l’appliquer. Mais les automatismes guidés par la volonté d’aller vite avec ce qu’on connaît plutôt que de bien faire en s’ouvrant sur de nouvelles approches, doivent laisser la place à une véritable réflexion adhoc avec une porte ouverte à la créativité et aux solutions les plus adaptées. C’est plus difficile mais plus qualitatif. Toutes les observations récentes concernant la profession pointent d’ailleurs l’importance de la personnalisation et du conseil pour réussir sur le marché des études. Les instituts qui vont bien se positionnent sur ces plans. Il est vrai que certains tirent également leur épingle du jeu en faisant carrément l’inverse, avec des approches simplifiées et ultra-standardisées destinées à traiter des problématiques de base.

D’autres contraintes comme le budget alloué, peuvent dénaturer l’objet de l’étude. Le coût est essentiel mais lorsque la prestation n’est jaugée qu’à l’aune économique, on peut aboutir à des enquêtes menées de manière incomplète ou incohérente et qui ne permettent pas de résoudre les problématiques définies. Autant dans ce cas-là ne pas faire d’enquêtes du tout. Le budget doit être alloué en fonction du projet plutôt que l’inverse. C’est bien sûr plus facile à dire qu’à faire. Mais si la démarche est bien étayée et les objectifs poursuivis vraiment importants, il y a fort à parier que les décideurs y regarderont à 2 fois plutôt que de valider une approche moins coûteuse mais inutile. Le juste prix en la matière est celui qui permet d’atteindre l’objectif.

Le poids des habitudes et les contraintes financières peuvent égarer. Mais le pire (et le plus fréquent) des écueils que nous rencontrons est lié à un manque de considération pour les répondants qui frôle parfois l’autisme. En effet, plongés dans leurs objectifs et leurs contraintes, beaucoup de professionnels en viennent à oublier, lorsqu’ils conçoivent leurs démarches et leurs supports, qu’ils vont avoir affaire, en face, à des humains et non à des « répondants » taillables et corvéables à merci. C’est ainsi qu’on en arrive à l’incroyable consensus qui règne encore dans l’univers des instituts sur une durée moyenne de questionnaire de 20 minutes alors que nous savons tous, en tant que répondants, que cette durée est absolument insupportable. A notre avis, un questionnaire qui dure plus de 5 minutes a intérêt à être sacrément intéressant et agréable pour qu’on puisse s’y intéresser. Comment peut-on alors considérer dès que l’on passe du côté des concepteurs d’enquêtes, que la durée (moyenne !) peut être multipliée par 4 sans conséquences ?
Notons à ce niveau que notre règle des 5 minutes peut souffrir quelques exceptions dans des enquêtes très particulières comme les études d’audience presse ou radio. Pour ces questionnaires (CAWI pour la presse en majorité et CATI pour la radio), il convient de compenser la longueur par un soin particulier apporté à la clarté, à la structuration et à la formation des enquêteurs.

Le bon échantillon

Avec la généralisation des enquêtes web, la notion d’échantillonnage qui constituait auparavant le socle de toute enquête est passée au second plan. En effet, alors que le nombre de personnes sollicitées influait directement sur le coût des enquêtes en face à face ou CATI (par téléphone), le fait d’adresser plus ou moins de sollicitations n’a plus aujourd’hui les mêmes incidences surtout lorsqu’on travaille sur des fichiers existants ou des panels propriétaires. Et même lorsqu’on doit solliciter des fournisseurs de panels, le coût unitaire d’accès au répondant n’a rien à voir avec les dépenses de recrutement liées aux anciens modes d’investigation.

Ayant à moins réfléchir sur le nombre de personnes à interroger et au choix de son échantillon, on en oublie de plus en plus l’importance de la notion de représentativité dans l’extrapolation des résultats obtenus. Le plus souvent, l’enquête est donc effectuée sur l’échantillon qui se présente et les résultats dépouillés avec ou sans l’application de redressements a posteriori. Les résultats sont ensuite généralisés à la population-mère de manière abusive et en opposition avec les fondements de la théorie des sondages.
Pour disposer de résultats fiables et de qualité, il convient donc, quel que soit son mode d’enquête, de bien penser son échantillon. La méthode admise est celle des quotas qui représente déjà un compromis avec la rigoureuse théorie statistique du tirage aléatoire à partir d’une base de sondage exhaustive. La méthode empirique des quotas consiste à déterminer les critères de répartition les plus pertinents pour qualifier la population à sonder puis à chercher à interroger des personnes en respectant cette répartition. Les systèmes d’enquêtes web modernes (Net-Survey de Soft Concept par exemple) permettent de définir les quotas de réponses et de gérer en temps réel le non dépassement de ces quotas. On peut aussi préférer laisser tout le monde répondre puis redresser son échantillon pour lui faire respecter les critères de répartition au moment du traitement (avec le logiciel Ethnos par exemple).

Outre sa structure, la taille de l’échantillon est également essentielle pour la qualité des résultats. Cette taille détermine la fameuse marge d’erreur souvent évoquée dans les médias après une élection pour expliquer les écarts entre sondages et résultats. Cette marge correspond au niveau de fiabilité avec lequel nous pouvons extrapoler les résultats obtenus dans l’enquête à la population-mère étudiée.
Pour en savoir plus sur la méthode des quotas et le calcul de la taille optimale de vos échantillons, consultez notre article « L’enquête par questionnaire » sur notre site www.surveymag.eu. Vous y trouverez notamment un tableau de marges d’erreurs par taille d’échantillon.

Des supports de recueil optimisés

Une enquête de qualité repose sur un support d’enquête de qualité. Cette évidence doit conduire à accorder le plus grand soin à l’organisation et à la présentation du questionnaire. Pour ce faire, nous vous conseillons de garder en permanence à l’esprit non seulement votre objectif mais également le confort de vos répondants. Le questionnaire doit être progressif et logique. Vous pouvez adopter une organisation en entonnoir qui propose au démarrage des questions simples et neutres et qui progresse vers les questions les plus pointues ou les plus personnelles. Si vous n’avez pas à vérifier les quotas, il vaut mieux placer les questions signalétiques (sexe, âge, profession…) en fin de questionnaire.
Outre la structure, il est important de veiller à optimiser la formulation des questions afin d’obtenir des réponses valables et non biaisées. Il convient pour cela d’éviter dans vos questions le jargon technique et les expressions ambiguës ou compliquées. Le choix des réponses proposées doit également être effectué avec soin pour minimiser les non réponses et les abandons lorsque le répondant se retrouve dans une impasse avec des propositions de réponses qui ne lui conviennent pas. Les échelles, souvent utilisées dans les enquêtes, doivent être harmonisées tout au long du questionnaire (une même échelle si possible pour ne pas dérouter le répondant).

Pour atteindre les objectifs de l’étude, un questionnaire doit être non seulement bien construit mais également bien présenté. « La forme est le fond qui remonte à la surface » disait Victor Hugo. Il est évident qu’en matière de questionnaire un manque de soin dans la présentation cache souvent un sens déficient de la qualité et un manque de considération pour les répondants. Combien de questionnaires nous arrivent régulièrement dans des mises en page sommaires et qui manquent singulièrement de professionalisme ? A un moment où l’on parle beaucoup de rendre les questionnaires plus ludiques (voir notre article sur la gamification), la première étape pour s’assurer d’un bon taux de retour serait déjà de proposer des mises en formes propres et claires, dans un environnement visuel adapté. Pour avoir des réponses de qualité, la première des choses est donc de proposer des environnements de réponse de qualité.

Un questionnaire, aussi bien conçu et bien présenté soit-il, peut contenir des imperfections et des cas limites qui pourraient altérer la qualité des résultats recueillis. Une phase de test est donc un pré-requis absolu avant le lancement de l’enquête. Ce test doit se dérouler en situation réelle avec de vrais répondants. En effet, des testeurs professionnels (vos collègues par exemple) peuvent comprendre un concept métier que vos répondants peuvent ignorer. De même, le système de cheminement et de choix de réponses peut être clair pour des utilisateurs experts mais beaucoup moins pour le public visé. La phase de test peut concerner un petit échantillon extrait de la population cible. L’écoute des remontées suite au test doit également être organisée pour éviter la simple appréciation d’ensemble qui peut cacher des points importants à améliorer.