Un score de satisfaction correct ne garantit rien.
Un NPS stable, un taux de satisfaction dans la moyenne du secteur : ces indicateurs rassurent, mais ne cachent-ils pas autre chose ?
Parfois, une information peut être présente dans les données sans pour autant être clairement visible dans le tableau de bord des résultats. Elle finira par apparaître quand le phénomène sera bien installé.
Ce sont des situations que nous observons régulièrement dans notre métier au quotidien dans les études que nous réalisons pour nos clients, qu’ils soient des collectivités ou des entreprises.
De quoi parle-t-on ?
Les données de satisfaction peuvent provenir de sources multiples. D'un côté, des données spontanées telles que les avis publiés en ligne, les réclamations remontées des équipes commerciales ou du service client. De l'autre, des données sollicitées comme les enquêtes à chaud, juste après une interaction, ou à froid, sur une base périodique. Toutes ces sources sont à prendre en considération pour avoir une vue d’ensemble la plus fiable possible.
Quand nous réalisons une enquête, nous posons des questions qui alimentent l’analyse d’indicateurs prédéfinis tels que le NPS, le taux de satisfaction globale ou détaillée par items…
Toutes ces informations sont à prendre en considération pour connaître la satisfaction client. Elles sont essentielles pour avoir une vision d’ensemble et permettre d’aller au-delà de la stricte interprétation d’indicateurs.
L’étude des données permet de suivre des indicateurs précis mais aussi de percevoir des signaux faibles. En effet, ces signaux faibles ne sont pas perçus lors d’une lecture rapide des résultats. Il est pourtant intéressant et important de les repérer au moment de l’analyse.
La notion de « signal faible », ne vient pas des études marketing. Elle apparaît en 1975 sous la plume d'Igor Ansoff qui cherche à comprendre pourquoi des entreprises correctement informées sont malgré tout surprises par des ruptures majeures pouvant intervenir sur leur marché qu’elles n’ont pas anticipées. Ansoff oppose les signaux forts, visibles, documentés et dont on peut mesurer l'impact aux signaux faibles qui donnent des indications précoces et imprécises, pouvant se renforcer ou disparaître selon l'attention qu'on leur porte. Transposée aux enquêtes de satisfaction, cette notion prend un sens beaucoup plus opérationnel et la question mérite d’être posée. N’y aurait-il pas présentes dans les données du corpus analysé des informations mal exploitées ou d’autres brillantes par leur absence ? En effet, l’institut d’études doit avant tout exploiter du mieux possible l’information disponible et veiller à mener une analyse pertinente sans forcément multiplier les données collectées mais en s’assurant de disposer d’un spectre d’informations suffisant.
Transposée aux enquêtes de satisfaction, cette notion prend un sens beaucoup plus opérationnel et la question mérite d’être posée. N’y aurait-il pas présentes dans les données du corpus analysé des informations mal exploitées ou d’autres brillantes par leur absence ?
En effet, l’institut d’études doit avant tout exploiter du mieux possible l’information disponible et veiller à mener une analyse pertinente sans forcément multiplier les données collectées mais en s’assurant de disposer d’un spectre d’informations suffisant.
Signal faible et alerte classique : deux logiques distinctes
Le pilotage de la satisfaction repose sur un socle stable : NPS, taux de satisfaction global, répartition promoteurs / passifs / détracteurs. Ces indicateurs remplissent plusieurs fonctions notamment celles de comparer dans le temps et donner une lecture rapide à un comité de direction. Ce sont des instruments d'alerte classique : ils signalent ce qui est déjà installé, mesurable, suffisamment répandu pour peser sur une moyenne. Un signal faible se situe en amont de ce seuil, c’est-à-dire avant l'écart significatif, avant que le phénomène ne soit assez marqué pour faire évoluer l’indicateur mesuré.
Trois mécanismes expliquent cette invisibilité. L'agrégation d'abord : le NPS en offre un cas d'école, puisque sa catégorie centrale composée des répondants passifs (ceux qui notent 7 ou 8) est exclue du calcul, alors qu'elle constitue souvent le segment le plus nombreux, et celui dont l'insatisfaction s'exprime le moins. La moyenne ensuite quand un score global stable peut recouvrir une dégradation marquée sur une sous-population, compensée par une amélioration ailleurs. Dans ce cas, la stabilité apparente ne signifie pas l'absence de mouvement.
L'absence de croisements pertinents enfin car un signal faible est par nature localisé. Il peut concerner dans un premier temps une agence, une région ou un profil de clients et sans tri croisé construit sur les bonnes variables, il reste dissous dans l'ensemble.
Des biais qui filtrent avant même la lecture
L'agrégation n'est pas seule en cause. En amont du calcul, la façon dont les données sont produites peut faire disparaître le signal avant même qu'il n'atteigne le tableau de bord.
Une enquête ne repose pas toujours sur une population dans son entièreté mais bien souvent uniquement sur la part de la population acceptant d’y répondre. La recherche sur les avis en ligne documente ce mécanisme : la distribution des notes y prend une forme polarisée, parce que les deux positions extrêmes s'expriment davantage que les avis modérés. Le milieu ambivalent est donc structurellement sous-représenté, et c'est précisément là que se logent potentiellement les signaux faibles, chez le client qui hésite, pas chez celui qui tranche.
D'autres facteurs s'ajoutent, comme par exemple :
- La désirabilité sociale
: lorsqu'un répondant sollicité juste après une interaction pourrait
avoir tendance à répondre plus favorablement qu'il ne le penserait à
froid, soit pour ne pas paraître désagréable, soit parce que
l'émotion de l'échange récent colore encore sa réponse (dans un sens
positif ou négatif)
- Le moment de
l'interrogation : une enquête déclenchée trop tôt après l'achat
capteront l'enthousiasme du moment pas encore l'expérience d'usage ;
les irritants apparaissant potentiellement plus tard.
Aussi, comment un signal fort peut-il émerger s’il manque la question dans le questionnaire ? En effet, si le cadrage amont a mal identifié les enjeux, si les questions ouvertes ont été oubliées, si les variables de segmentation utiles n'ont pas été collectées, il va falloir compter sur la perception de signaux faibles pour prendre en compte certaines informations. Dans ce cas le signal n'a pas été perdu à l'analyse : il n'a jamais été rendu exprimable.
Cas : les plateaux-repas qui ne disaient pas tout
Une enquête menée auprès de plusieurs résidences seniors d'un groupe immobilier, sur près de 2 500 réponses, illustre bien ces mécanismes combinés. Le questionnaire couvrait plusieurs thématiques du quotidien en résidence, dont la restauration, avec un focus sur les plateaux-repas, un service proposé aux résidents qui le souhaitent.
Le score de satisfaction sur ce point était correct, sans rien qui aurait justifié une attention particulière à la seule lecture du tableau de bord. Mais un fait connu des équipes sur le terrain change la lecture de ce chiffre : peu de résidents ont recours à ce service. Les répondants sur cet item n'étaient donc pas un échantillon représentatif de l'ensemble des résidents, mais un sous-groupe ayant fait le choix de continuer à l'utiliser probablement plus satisfait, en moyenne, que ne l'aurait été l'ensemble des résidents si tous s’étaient prononcés.
Aussi, dans les commentaires libres associés à cet item, deux critiques revenaient de façon récurrente, sur plusieurs résidences et plusieurs répondants : la composition des formules et le rapport qualité-prix. Deux sujets absents des questions fermées du questionnaire ; ils n'existaient dans les données que sous cette forme non structurée. Le signal, ici, n'était pas dans le score : il était dans le fait qu'un chiffre rassurant, obtenu dans des conditions plutôt favorables à la satisfaction, laissait malgré tout émerger une critique constante. Un score correct sur un échantillon biaisé en amont ne garantit rien sur ce que penseraient les résidents qui ne répondent pas.
Ce constat a nourri les recommandations formulées aux gérants des résidences : sans la lecture des verbatims, ces deux axes n'auraient pas pu être proposés comme pistes d'action, puisqu'ils n'étaient couverts par aucune question fermée.
Nous avons donc retenu comme axes d'amélioration pour la vague suivante d’interroger les résidents qui n'utilisent pas les plateaux-repas pour connaître les raisons de non-utilisation de ce service (mauvaise expérience passée ou n’ayant pas besoin de ce service par exemple), et intégrer des questions fermées sur les deux critères jusque-là absents.
Trois moments clés où le signal peut encore être sauvé
Avant : rendre le signal exprimable
Un signal faible n'émerge pas d'un questionnaire qui n'a pas prévu son émergence. C'est la contrainte la plus lourde, parce qu'elle est difficilement rattrapable.
Trois exigences en découlent. Définir la population mère avant l'échantillon, c'est-à-dire décider qui doit être interrogé et non qui répondra le plus facilement. Le cas des plateaux-repas montre les conséquences de l'approximation car en interrogeant seulement les usagers du service, l'enquête se privait des réponses des personnes capables d'expliquer le non-recours.
Vérifier ensuite la pertinence des questions et des modalités de réponse. Dans notre exemple, les deux critiques qui sont remontées dans la question ouverte (composition des formules et rapport qualité-prix), n'existaient dans aucune modalité proposée. Il s’agit de prévoir des questions ouvertes quitte à les laisser facultatives pour ne pas trop contraindre les participants à l’enquête.
Ce cadrage suppose des interlocuteurs qui connaissent le terrain, pas seulement les méthodologies d’enquêtes. Un questionnaire techniquement correct mais construit sans cette connaissance reproduit les angles morts de l'organisation qui commande l’étude.
Pendant : ne pas s'arrêter au plan d'analyse
Le tri croisé reste le premier réflexe. Ventiler un score par profil, par canal, par zone ou par ancienneté fait apparaître ce qu'une moyenne peut dissimuler, et la comparaison d'une vague à l'autre peut révéler une dérive avant qu’on puisse l’observer sur l'indicateur agrégé.
Mais le point décisif est dans la deuxième série de tris, celle qu'on décide de réaliser après l’étude des résultats issus des premiers tris croisés réalisés. Un plan d'analyse figé en amont ne produit que les croisements anticipés donc, au mieux, les signaux qu'on soupçonnait déjà. Or un signe d'alerte précoce est par nature non attendu car il échappe aux grilles de lecture habituelles mais il est pourtant primordial d’être en mesure de le repérer. Cela suppose de revenir sur les données une fois qu'on les a analysées une première fois pour tester des hypothèses issues de cette première lecture.
Après : confronter le chiffre à ce que le terrain sait
Reste ce que le cadrage méthodologique et l'analyse ne peuvent pas produire : le contexte. Dans le cas des plateaux-repas, ce qui a changé la lecture du score n'était pas le fruit d’une analyse statistique mais plutôt une remarque des équipes opérationnelles qui ont expliqué que peu de résidents recourent à ce service. Sans cette information, le chiffre restait exact mais son interprétation fausse.
C'est la fonction de l'atelier de restitution car il permet de réunir les parties prenantes qui détiennent cette connaissance et confronter le résultat à ce qu'elles observent sur le terrain. Cela suppose que les opérationnels soient présents à la réunion de restitution, et pas seulement le commanditaire de l'étude.
L'atelier ne clôt pas l'étude mais prépare la vague suivante. Dans le cas
des résidences, il a produit les deux corrections qui seront mises en
place pour la prochaine enquête :
- Veiller à bien
interroger les non-usagers
- Intégrer au
questionnaire les deux critères absents initialement
Ainsi, la boucle se referme sur la préparation de la prochaine enquête.
Il arrive aussi régulièrement qu'une action ait été mise en place par le client entre deux vagues d'enquêtes sans que cela ne se traduise par une évolution visible de l’indicateur évalué. L’effet de l’action peut être masqué par un autre phénomène que seuls les opérationnels peuvent faire remonter. Ce temps d'échange est donc indispensable pour recontextualiser certains chiffres obtenus via l’enquête.
Les ateliers de restitution sont le lieu idéal pour mobiliser les personnes qui connaissent le terrain et confronter les chiffres à ce qu'elles observent au quotidien. Cette étape n'est pas un habillage de fin de mission. Elle apporte une prise de recul et une mise en perspective des résultats qu'aucun dashboard, aussi interactif soit-il, ne fournit seul. C'est souvent à ce moment précis qu'un signal encore ténu trouve une explication opérationnelle et qu'il devient exploitable.
L’approche quali au service de la détection des signaux faibles
La combinaison quanti/quali reste le levier le plus direct pour faire remonter un signal qui n'a pas encore de traduction chiffrée. Une question ouverte bien placée, voire quelques entretiens complémentaires ciblés suffisent souvent à documenter ce qu'un questionnaire composé uniquement de questions fermées ne pourra pas détecter.
Et n’oublions pas la compétence de l’analyste
Aucune méthode ne dispense d'un chargé d'études qui s'imprègne des données, les confronte à ce qu'il sait du terrain et s’en ouvre à ses interlocuteurs chez son client. C'est cette maturation de lecture qui distingue un signal faible correctement identifié d'une anomalie statistique sans suite.
Et ce que coûte d'ignorer un signal faible
Un signal faible ignoré ne disparaît pas car il continue de se diffuser.
Le cas des plateaux-repas l'illustre avec deux critiques récurrentes, absentes du questionnaire fermé qui seraient restées invisibles vague après vague si elles ne sont à aucun moment intégrées aux questions structurées.
Le risque n'est pas de manquer une information ponctuelle, mais de laisser un problème diffus s'installer jusqu'à devenir assez répandu pour devenir visible sur le score global. Le risque est que le problème s’installe et qu’il soit in fine plus coûteux à corriger qu'à prévenir. Et n’oublions pas que c’est quand même pour cela que les entreprises investissent dans des enquêtes. Elles souhaitent réduire leurs risques et la perception des signaux faibles est un enjeu majeur même si aucune recette miracle n’existe pour les déceler automatiquement.
Le signal faible se repère grâce aux données mais avant tout grâce à la capacité de l'interprétation humaine. Ni l'une ni l'autre ne suffit isolément.
Pour finir, voici deux méthodes que nous appliquons souvent pour dépasser
la première interprétation :
- Ne jamais lire un score
de satisfaction indépendamment de la composition de l'échantillon
qui l'a produit. Un chiffre satisfaisant obtenu sur un sous-groupe
non représentatif n'a pas la même valeur qu'un chiffre satisfaisant
obtenu sur l'ensemble de la population concernée. La question à se
poser systématiquement est « qui a répondu, et qui n'a pas répondu ?
», avant même de commenter le résultat.
- Traiter la restitution
comme une étape de production de connaissance, pas comme une
formalité de fin de mission. C'est souvent dans l'échange avec les
équipes terrain qu'un chiffre stable prend un sens qu'aucune analyse
statistique ne pouvait révéler seule.
