Pas de méthode plus lourde que le problème à résoudre

Une démarche d’évaluation peut rapidement devenir complexe. À mesure que les questions se précisent, il peut sembler prudent d’ajouter un questionnaire, quelques entrevues, de nouveaux indicateurs, une analyse supplémentaire ou une autre source de données.

Chaque ajout paraît défendable pris isolément. Pourtant, leur accumulation ne rend pas automatiquement l’évaluation meilleure.

La complexité méthodologique peut même donner une impression trompeuse de rigueur : davantage de données, davantage d’outils et davantage d’analyses seraient nécessairement synonymes d’une connaissance plus solide.

Ce n’est pas toujours le cas.

La qualité d’une démarche dépend moins du nombre de moyens mobilisés que de leur capacité à répondre correctement aux questions posées. Une méthode simple peut être parfaitement rigoureuse lorsqu’elle fournit le niveau de preuve nécessaire. À l’inverse, une démarche très sophistiquée peut mobiliser beaucoup de ressources sans améliorer réellement la compréhension du problème.

L’enjeu n’est donc pas de rechercher systématiquement la méthode la plus légère.

Il consiste à concevoir une démarche suffisamment robuste pour répondre au besoin, sans ajouter une complexité qui n’améliore ni la connaissance produite ni la décision qu’elle doit éclairer.

Autrement dit, la proportionnalité méthodologique n’est pas une concession faite à la rigueur.

Elle en fait partie.

Commencer par la question, pas par l’outil

« Nous allons faire un sondage. »

« Il faudrait réaliser des entrevues. »

« Nous devrions construire davantage d’indicateurs. »

Ces propositions peuvent être pertinentes. Mais formulées trop tôt, elles inversent parfois le raisonnement.

Un questionnaire, une entrevue, une analyse documentaire ou une base de données ne constitue pas un objectif. Ce sont des moyens permettant de produire l’information nécessaire pour répondre à une question.

La première étape devrait donc être plus simple : qu’avons-nous besoin de comprendre?

Cherchons-nous à déterminer si une intervention répond toujours à un besoin? À comprendre pourquoi sa mise en œuvre rencontre certaines difficultés? À mesurer l’atteinte de résultats? À documenter l’expérience de ses utilisateurs? À apprécier son efficience? À examiner ses effets?

Ces questions ne nécessitent ni les mêmes données, ni nécessairement le même niveau de démonstration.

Question → information nécessaire → niveau de preuve → sources disponibles → méthode.

Commencer directement par l’outil comporte un risque : recueillir de l’information simplement parce qu’il est possible de la recueillir, puis chercher ensuite comment l’intégrer à l’analyse.

Une démarche proportionnée procède dans l’autre sens.

Elle détermine d’abord ce qu’il faut savoir, puis choisit les moyens permettant de le savoir avec un degré de confiance approprié.

De quel niveau de preuve avons-nous réellement besoin?

Toutes les questions évaluatives ne comportent pas les mêmes exigences.

Documenter la satisfaction des participants, comprendre les difficultés de mise en œuvre d’une intervention et établir que celle-ci a produit un effet particulier ne supposent pas le même type de démonstration.

Le niveau de preuve recherché dépend donc d’abord de la nature de la question et de la portée de l’affirmation que l’évaluation souhaite pouvoir soutenir.

Mais il dépend également de l’utilisation qui sera faite des résultats.

Une analyse exploratoire destinée à identifier des pistes de réflexion ne requiert pas toujours le même degré de certitude qu’une décision engageant des ressources importantes ou susceptible d’avoir des conséquences majeures.

Que voulons-nous pouvoir affirmer à partir des résultats?

Et : Quel niveau de confiance devons-nous raisonnablement atteindre pour utiliser cette affirmation?

La réponse dépend notamment de la question évaluative, de la portée des conclusions envisagées, de l’importance de la décision, de l’incertitude existante et des conséquences possibles d’une erreur.

Plus l’affirmation est exigeante ou les conséquences d’une conclusion erronée importantes, plus les exigences méthodologiques peuvent devoir être élevées.

L’enjeu consiste donc à rechercher le niveau de preuve approprié à la question et à la décision à éclairer.

Cette manière de raisonner évite deux erreurs opposées : utiliser une méthode insuffisante pour soutenir les conclusions que l’on souhaite tirer ou rechercher un niveau de démonstration dont l’organisation n’a pas réellement besoin pour comprendre la situation et agir.

Dans les deux cas, la méthode est mal ajustée au problème.

Faire avec le contexte réel sans sacrifier la crédibilité

Les évaluations se déroulent rarement dans des conditions idéales.

Les données peuvent être incomplètes. Certains indicateurs peuvent n’avoir été introduits que récemment. Une mesure de référence peut manquer. Le nombre de personnes disponibles pour une consultation peut être limité. Les systèmes d’information peuvent avoir évolué. Le calendrier ou les ressources peuvent également imposer des contraintes.

La bonne réponse n’est ni de faire comme si ces limites n’existaient pas, ni d’abandonner toute ambition de rigueur.

Elle consiste à construire le dispositif le plus crédible possible compte tenu du contexte réel, puis à être transparent sur ce qu’il permet — ou non — de conclure.

Une donnée imparfaite peut parfois demeurer utile. Plusieurs sources présentant chacune des limites peuvent se compléter. Une analyse qualitative peut aider à comprendre un phénomène qu’un indicateur décrit sans l’expliquer. Une série chronologique incomplète peut éclairer une tendance sans permettre d’en attribuer la cause.

L’important est de ne pas demander aux données davantage que ce qu’elles peuvent raisonnablement fournir.

Adapter la méthode au contexte n’est pas adapter les conclusions à ce que l’on aimerait démontrer.

La première démarche relève du pragmatisme méthodologique.

La seconde compromettrait l’intégrité de l’évaluation.

Une méthode proportionnée reste donc exigeante sur la transparence, les limites de l’analyse et la solidité du lien entre les données disponibles et les conclusions formulées.

La complexité a elle aussi un coût

Lorsqu’on évalue le coût d’une méthode, on pense naturellement aux ressources financières, au temps de travail ou au calendrier.

Mais la complexité entraîne également des coûts moins visibles.

Un questionnaire trop long peut réduire la participation ou la qualité des réponses. Des consultations répétées peuvent créer une fatigue chez les personnes sollicitées. Une multiplication des indicateurs peut produire une masse d’information difficile à interpréter. Des analyses secondaires peuvent retarder la production des résultats principaux.

Et plus une démarche recueille de données, plus elle doit consacrer de ressources à leur préparation, leur validation, leur analyse et leur communication.

Le risque est alors paradoxal : produire davantage d’information tout en rendant plus difficile l’identification de ce qui compte réellement.

Chaque donnée recueillie devrait avoir une raison d’être.

Avant d’ajouter une question à un questionnaire, un indicateur à un tableau de bord ou une nouvelle source à une stratégie de collecte, il devrait être possible d’expliquer à quelle question cette information contribuera à répondre.

Cela ne signifie pas que toute donnée doit déboucher directement sur une décision. Une évaluation peut aussi explorer, apprendre ou faire apparaître des phénomènes inattendus.

Mais l’accumulation d’information ne devrait jamais devenir une finalité en soi.

La complexité nécessaire n’est pas un défaut

La proportionnalité pourrait facilement être mal comprise.

Pas de méthode plus lourde que le problème à résoudre ne signifie pas qu’il faudrait systématiquement réduire les collectes, privilégier les analyses les plus rapides ou choisir la solution la moins coûteuse.

Certaines questions exigent des dispositifs importants.

Lorsqu’une évaluation cherche à établir avec un niveau élevé de confiance les effets attribuables à une intervention, à comparer rigoureusement plusieurs groupes, à analyser des phénomènes complexes ou à soutenir une décision comportant des conséquences importantes, une collecte substantielle, plusieurs sources de données ou des analyses plus poussées peuvent être pleinement justifiées.

Dans ces situations, simplifier artificiellement la démarche ne serait pas du pragmatisme.

Ce serait sous-méthodologiser le problème.

La proportionnalité fonctionne donc dans les deux directions : elle protège contre la complexité inutile autant que contre une méthode insuffisante.

Éliminer la complexité qui n’apporte pas de valeur méthodologique; assumer pleinement celle qui est nécessaire à la solidité de la réponse.

La méthode la plus simple n’est donc pas toujours la bonne.

La bonne méthode est la moins complexe qui permette de répondre à la question avec le niveau de confiance requis.

Il ne s’agit plus d’opposer méthodes simples et méthodes complexes. Il s’agit de déterminer quelle complexité est nécessaire.

Arbitrer sans affaiblir la rigueur

Dans la pratique, concevoir une évaluation implique des arbitrages.

Davantage de données peuvent accroître la précision, mais prolonger les délais. Une consultation plus large peut enrichir les perspectives, mais demander davantage de ressources. Une méthode analytique plus poussée peut renforcer certaines conclusions, mais seulement si les données disponibles permettent réellement de l’utiliser.

Ces arbitrages font partie de la conception méthodologique.

La question devient alors : quels compromis pouvons-nous accepter sans compromettre la capacité de l’évaluation à répondre à ses questions?

Cela exige de distinguer les éléments indispensables des éléments souhaitables.

Certaines données sont essentielles à la démonstration. D’autres apportent surtout un éclairage complémentaire. Certaines limites peuvent être compensées par une autre source. D’autres doivent conduire à restreindre la portée d’une conclusion.

La rigueur ne consiste donc pas à prétendre que la démarche ne comporte aucun compromis.

Elle consiste à faire des choix méthodologiques explicites, cohérents et défendables.

Le test de proportionnalité méthodologique Eval Com

Avant d’ajouter un outil, une donnée ou une analyse, cinq questions peuvent servir de repères.

1. À quelle question cela répond-il? Si le lien avec une question évaluative importante est difficile à établir, l’ajout mérite d’être reconsidéré.

2. Quelle information supplémentaire cela apporte-t-il? Une nouvelle source est utile si elle complète, confirme, nuance ou remet en question ce que nous savons déjà.

3. Cette information peut-elle modifier notre compréhension ou éclairer une décision? Toutes les informations intéressantes ne sont pas nécessairement déterminantes pour l’évaluation.

4. Existe-t-il une manière plus simple et suffisamment robuste de l’obtenir? Deux méthodes peuvent parfois produire une information comparable avec des exigences très différentes.

5. Quel serait le risque de ne pas disposer de cette information? Cette question replace le choix méthodologique dans le niveau d’incertitude que l’organisation peut raisonnablement accepter.

Ce test ne constitue ni une formule universelle ni un substitut au jugement méthodologique.

Il propose un réflexe plus simple : justifier la complexité avant de l’ajouter.

Concevoir juste

Une bonne méthode n’est ni celle qui mobilise le plus d’outils ni celle qui en utilise le moins.

C’est celle qui permet de produire des connaissances suffisamment solides pour répondre aux questions posées, soutenir la portée des conclusions recherchées et fournir le niveau de confiance dont les utilisateurs ont réellement besoin.

Cette conception demande parfois de simplifier.

Elle demande parfois, au contraire, de renforcer considérablement la démarche.

Dans les deux cas, le principe reste le même : la méthode doit être au service de la connaissance recherchée et de l’usage qui en sera fait.

La rigueur ne se mesure pas au nombre d’outils mobilisés. Elle se mesure à la capacité d’une démarche à produire, de manière transparente et défendable, les connaissances nécessaires pour répondre à la question posée.

C’est pourquoi pas de méthode plus lourde que le problème à résoudre ne signifie pas faire moins.

Cela signifie concevoir juste.