Le concept de « complexité » a été largement débattu dans la discipline de l’évaluation au cours des deux dernières décennies (Barbrook-Johnson et al., 2021). Cependant, l’utilisation de méthodes d’évaluation intégrant la complexité des interventions n’est pas encore répandue dans la pratique (Barbrook-Johnson et al., 2021). C’est pourquoi cet article explore les approches et les méthodes les mieux appropriées à l’évaluation des interventions complexes. À travers une revue de littérature sur la complexité dans le champ de l’évaluation, notre ambition est de répondre à la question fondamentale de savoir comment les évaluateur·rice·s peuvent gérer la complexité en produisant des résultats rigoureux et crédibles.
Nous présenterons le concept de complexité en évaluation, puis nous identifierons les limites de la pratique de l’évaluation face à la complexité des interventions. Enfin, nous proposerons les méthodologies et les approches les plus appropriées pour évaluer les interventions complexes.
QUE SAVONS-NOUS DE LA COMPLEXITÉ DANS LE CHAMP DE L’ÉVALUATION ?
En évaluation, la complexité exprime la nature émergente, imprévisible et non linéaire des associations entre les actions et les résultats (Glouberman & Zimmerman, 2002). Le fonctionnement d’interventions dans des systèmes sociaux complexes est façonné par des interactions dynamiques entre divers acteurs (Keshavarz et al., 2010). C’est le cas des interventions à caractère social qui visent un changement comportemental. Dans ce genre d’initiative, le lien entre la cause et l’effet n’est pas toujours linéaire et le processus évaluatif nécessite le traçage des mécanismes de causalité et des facteurs contextuels qui contribuent à l’atteinte des résultats. En effet, les défis de l’évaluation d’une intervention complexe se réfèrent à l’identification des incertitudes et du rôle du contexte dans la modélisation des relations dynamiques entre la mise en œuvre et les mécanismes de causalité (Moore et al., 2019).
Telle que pratiquée jusqu’à maintenant, la discipline de l’évaluation présente des limites méthodo- logiques et épistémologiques pour traiter la complexité des interventions. En effet et malgré l’émergence du raisonnement critique et des approches participatives, la logique basée sur l’analyse de cause à effet simple, domine toujours les pratiques méthodologiques en évaluation (Sanderson, 2000). Cette simplification des relations qui existent dans la réalité des interventions complexes prive le champ de l’évaluation d’une réflexion approfondie de la complexité des interventions (Barbrook-Johnson et al., 2021). De plus, les approches quantitatives et l’utilisation du raisonnement statistique réduisent les interactions et les expériences complexes en modèles linéaires, sapant ainsi le pluralisme culturel et sociopolitique (Rodriguez & Acree, 2020). De même, les essais contrôlés randomisés ont du mal à comprendre le changement social car ils demeurent cantonnés dans la mesure des résultats prévus, prévisibles et prédéfinis (Oliver et al., 2020). Par contre, la compréhension des conséquences imprévues peut vraisemblablement améliorer la conception et la mise en œuvre des interventions complexes (Oliver et al., 2020). Celles-ci doivent faire l’objet d’une analyse plus profonde des mécanismes de causalité et de leur interaction avec le contexte. Traditionnellement, l’accent est mis davantage sur des préoccupations méthodologiques pour lier la théorie du changement aux résultats de l’intervention au lieu de considérer les conditions d’incertitude dans un système intégré et multidimensionnel (Morell et al., 2010).
D’une part, nombre d’interventions sont de nature complexe; d’autre part, l’évaluation traditionnelle peine à refléter cette complexité ; en conséquence, l’évaluation ne peut pas contribuer suffisamment au changement social. Mathison (2018) a identifié trois raisons. Premièrement, l’évaluation est freinée par des idéologies dominantes. Deuxièmement, elle n’est pas indépendante en raison de l’influence des parties prenantes. Et finalement, l’évaluation est une pratique qui suit des lignes directrices prédéterminées et donc produit des connaissances alignées sur la vision des décideurs (Mathison, 2018). Ainsi, elle devient une pratique guidée par des pratiques bureaucratiques et administratives (Schwandt, 2017) et risque de devenir un instrument politique plus qu’un outil technique. Cette influence peut être notée lors de la discussion des objectifs d’évaluation, des choix méthodologiques et de la phase de rédaction du rapport final (Eckhard & Jankauskas, 2019). Par conséquent, l’approche traditionnelle et simplificatrice néglige le pluralisme culturel et sociopolitique et n’offre qu’une vérité partielle (Greene, 2009).
COMMENT LA THÉORIE ET LA PRATIQUE DE L’ÉVALUATION POURRAIENT-ELLES FAIRE FACE A LA COMPLEXITE ?
L’évaluation peut pallier la complexité des interventions en utilisant un design adaptatif et flexible dans le cadre d’une approche systémique participative. Selon Aston et al. (2022), l’évaluation doit intégrer le caractère dynamique d’une intervention pour cerner les questions relatives au contexte sociopolitique et à la complexité (Aston et al., 2022). Dans la même veine, Barbrook-Johnson et al. (2021) soulignent l’importance d’utiliser une recherche exploratoire, d’avoir un dialogue précoce et ouvert entre le commanditaire et l’équipe d’évaluation, et de conclure une entente d’évaluation flexible. Barbrook-Johnson et al. (2021)
prônent le recours à des méthodes innovantes pour traiter la complexité d’une évaluation. Les méthodes d’évaluation doivent ainsi être modélisées avec une pensée critique pour refléter le caractère contextuel des interventions en prônant l’adaptation comme approche fondamentale (Aston et al., 2022). D’après Haarich (2018), pour accroître l’utilité de l’évaluation, les évaluateur·rice·s doivent envisager différentes perspectives pour décrire en profondeur la complexité du système, utiliser un processus d’évaluation adaptatif et flexible, et adopter une méthodologie robuste et bien définie.
Une autre dimension de la complexité de l’évaluation concerne les conséquences imprévues de l’intervention. A titre d’exemple, les essais contrôlés randomisés, mesurant les objectifs prédéfinis, ne peuvent pas cerner le changement social (Oliver et al., 2020). Pour comprendre les résultats imprévus, l’évaluation doit mobiliser des méthodes pluralistes et adaptatives en utilisant plus de délibération durant le processus évaluatif. Par exemple, l’évaluation réaliste, l’analyse qualitative comparative et la méthode de traçage des processus sont mieux adaptées pour examiner les mécanismes du changement social (Oliver et al., 2020).
Dans un contexte sociopolitique complexe, une évaluation participative, qui intègre les points de vue de toutes les parties prenantes, favorise l’apprentissage et la justice sociale. L’adoption d’une approche participative est d’autant plus cruciale pour évaluer une intervention complexe visant le changement social (Oliver et al., 2020). De surcroît, Carlsson (2000) soutient que le pouvoir de prise de décision est fragmenté par un processus de décision non linéaire. Ainsi, pour faire face à la complexité, l’évaluation doit être inclusive en adoptant une méthodologie ascendante pour analyser les processus d’élaboration des politiques. Une perspective épistémologiquement plus diversifiée qui s’engage avec les récits des participant·e·s peut générer de nouvelles explications et fournir des points de vue critiques (Silver, 2021).
L’essor de la logique générative ou émergente est dû au besoin croissant d’évaluer des interventions de plus en plus complexes. Pour faire face à la complexité, cette approche est une alternative intéressante à la logique contrefactuelle caractérisée par un certain réductionnisme. Comme application de cette logique explicative, l’approche systémique représente un cadre conceptuel pour démêler les questions complexes d’évaluation. Aston et al. (2022) défendent l’emploi de la logique générative pour explorer une intervention évoluant dans un environnement complexe et soulignent que la rigueur est plutôt déterminée par la pertinence plus que par la nature des méthodes (Aston et al., 2022). En effet, l’approche systémique, en tant que cadre conceptuel pour démêler des problèmes complexes d’évaluation, est une alternative au paradigme positiviste dominant (Caffrey & Munro, 2017). L’application de l’approche systémique au domaine de l’évaluation peut produire une meilleure compréhension de la mise en œuvre des interventions en examinant les interactions des composantes d’un système qui peuvent générer des propriétés émergentes qui ne peuvent pas être atteintes en disséquant chaque partie de manière isolée (Caffrey & Munro, 2017). En effet, l’utilisation d’une approche holistique, au lieu de poser des questions distinctes sur le contexte et les différents résultats, permettra de mieux évaluer une intervention complexe (Barbrook-Johnson et al., 2021). Comme application de l’approche systémique, l’évaluation basée sur la théorie se concentre sur les valeurs et les intérêts pour aborder la complexité de la mise en œuvre des interventions (Stame, 2004). Elle offre un cadre pour examiner profondément l’intervention en tant que système ouvert interagissant avec d’autres systèmes (Caffrey & Munro, 2017).
L’évaluation doit également intégrer l’étude de l’entité qui a commandité l’évaluation et non seulement se focaliser sur l’intervention. Pour cela, elle peut mobiliser la théorie des organisations pour disséquer le processus décisionnel et apporter des explications sur la mise en œuvre de l’intervention. De même, l’approche systémique peut être combinée avec la logique contrefactuelle expérimentale afin de produire des connaissances transférables (Aston et al., 2022). Toutefois, une réorientation de l’évaluation est nécessaire pour réduire la prédominance des approches quantitatives à travers une épistémologie prônant la pluralité dans la production de connaissances (Stame, 2018). Les méthodes mixtes peuvent ainsi jouer un rôle primordial dans la construction de théories sur le fonctionnement des systèmes sociaux complexes afin d’optimiser leurs impacts sur le changement social (Moore et al., 2019).
Finalement, le concept principal-agent (soit un arrangement où une entité donne à une autre entité la responsabilité d’agir, par exemple dans des relations entre mandataires, agence de mise en œuvre et bénéficiaires) pourrait élucider la complexité des interventions en explorant la répartition des pouvoirs entre les différents acteurs. C’est dans cette perspective que Porter (2016) préconise d’identifier dans un premier temps les tenants et les contraintes du pouvoir. Le cadre conceptuel principal-agent fournirait alors à l’évaluation un cadre d’analyse de la dynamique des divers intérêts (Porter, 2016). Ainsi, ce concept pourrait disséquer où le pouvoir est localisé, contracté et transféré en intégrant les intérêts des populations les plus marginalisées. L’évaluation peut ainsi rendre plus visible la dynamique derrière les politiques et les programmes (Picciotto, 2015).
COMMENT MENER L’ÉVALUATION D’UNE INTERVENTION COMPLEXE ?
Cet article propose un cadre d’évaluation axé sur la complexité pour la conduite d’une évaluation. Il suggère d’utiliser un plan flexible et d’appliquer une approche systémique participative, basée sur le concept principal-agent, comme cadre conceptuel de l’évaluation des interventions complexes.
Le point de départ est d’examiner de manière critique comment une intervention interagit avec les autres composants d’un système ouvert. A cet effet, l’évaluation basée sur la théorie, mobilisant des méthodes mixtes, explore des explications rivales et examine les mécanismes de causalité et les facteurs contextuels qui se combinent avec l’intervention pour contribuer aux résultats (Pawson, 2004). Ensuite, l’évaluation peut mobiliser le concept principal-agent pour identifier comment le pouvoir est exercé entre le commanditaire, les responsables de la mise en œuvre et les bénéficiaires. L’argument clé est de guider l’équipe d’évaluation dans un environnement complexe et pluridimensionnel. (Illustration : cadre d’évaluation axé sur la complexité)
Le cadre d’évaluation axé sur la complexité repose également sur la pertinence dans le choix des méthodes, l’inclusion des parties prenantes grâce à une rétroaction en temps réel et l’intégration de la théorie des organisations au champ de l’évaluation. De même, le cadre proposé met en lumière la pertinence des approches participatives et génératives qui sont plus adaptées à l’exploration des interventions complexes.
CONCLUSION
En résumé, la pratique de l’évaluation connaît certaines limites pour évaluer les interventions complexes. La méthodologie de l’évaluation peine à se libérer des lignes directrices prédéterminées, basées principalement sur un raisonnement statistique, pour décrire les interventions complexes. Le changement social découle d’un processus caractérisé par l’imprévisibilité et l’incertitude que le paradigme positiviste ne peut décrire fidèlement et que l’évaluation expérimentale néglige.
Cet article apporte des éléments de réponses pour gérer la complexité dans la conduite d’une évaluation. Il suggère d’appliquer l’approche systémique basée sur le concept principal-agent et d’utiliser l’adaptabilité dans le choix d’une méthodologie appropriée. Il s’agit d’analyser en profondeur l’interaction de l’intervention dans un système ouvert à travers une approche participative afin de cerner le changement social à l’aide de la compréhension des points de vue et du pouvoir de toutes les parties prenantes.