Malgré leur prédominance, les évaluations expérimentales, à travers les essais contrôlés randomisés12(ECR), sont critiquées par leur conception simplifiée de la causalité (Fletcher et al., 2016). Elles se concentrent uniquement sur l’atteinte ou non des objectifs d’une intervention, plutôt que sur le comment et le pourquoi (Fletcher et al., 2016). Par conséquent, le champ de l’évaluation s’est tourné vers l’évaluation basée sur la théorie (EBT) qui permet de comprendre comment et pourquoi les interventions fonctionnent d’une manière bien particulière en mettant l’accent sur le contexte (Blamey et Mackenzie, 2007). Parmi les EBTs qui connaissent un engouement
ces dernières années, figure l’Evaluation Réaliste (ER) (Pawson & Tilley, 1997). L’ER élabore des configurations hypothétiques contexte- mécanisme-résultat (CMR) qui expliquent le fonctionnement d’une intervention13 et les teste empiriquement. Autrement dit, l’ER consiste à prédire une théorie d’un programme14 qui renseigne sur comment le contexte et les mécanismes de causalité ont permis l’atteinte ou non des résultats. Cette théorie est affinée et mise à jour à la lumière des données collectées sur le terrain. Néanmoins, cette approche est critiquée en termes de praticité et de difficultés théoriques. En effet, l’ER ne spécifie pas clairement comment identifier et tester les mécanismes de causalité qui sont responsables de l’atteinte ou non des résultats d’une intervention (Rolfe, 2019). De surcroît elle ne spécifie pas comment évaluer la qualité des preuves pour mesurer la contribution de l’intervention dans l’atteinte des objectifs (Befani & Stedman-Bryce, 2016).
A cet effet, l’objectif de cette recherche est de renforcer l’opérationnalisation de l’ER à travers sa combinaison avec la Méthode de Traçage des Processus (MTP) afin de conceptualiser et de tester les mécanismes de causalité. La MTP fait partie des approches génératives des inférences causales. C’est une méthode d’analyse de données qualitatives qui mobilise la logique bayésienne15 pour examiner les mécanismes de causalité afin de confirmer ou d’infirmer les hypothèses sur le chemin entre une cause et un effet en éliminant les explications rivales (Beach & Pedersen, 2019). Cette recherche s’inscrit dans le prolongement des travaux de Befani et Stedman- Bryce (2016) qui défendent la combinaison des deux approches. Bien que la MTP ait déjà été combinée avec d’autres approches en évaluation, elle n’a jamais été mobilisée pour tracer les mécanismes déployés dans les configurations CMR de l’ER.
METHODOLOGIE
L’objectif de la recherche est de considérer la faisabilité d’une conceptualisation méthodologique dans le champ de l’évaluation n’ayant pas encore été mise à l’épreuve à ce jour. Il s’agit de guider la mise en œuvre de l’ER en mobilisant les principes de la MTP qui décompose et teste toutes les parties du mécanisme (Beach & Pedersen, 2019). En effet, la MTP peut informer l’ER sur les preuves à collecter et les critères pour les évaluer. Cette conceptualisation théorique a été mise à l’épreuve de la réalité dans une étude de cas relative à un projet d’insertion professionnelle (IP) des jeunes en difficulté comme une proof of concept.
Le dispositif méthodologique de l’ER-MTP se décline par quatre étapes. La première étape consiste dans l’élaboration de la théorie initiale de l’intervention. Elle s’est déroulée par la définition des différents concepts liés à l’intervention, la conduite des entretiens exploratoires avec les responsables de l’implémentation et s’est achevée par l’élaboration de la théorie initiale de l’intervention.
Ensuite, la seconde étape s’est traduite par la formulation de propositions sous forme de configurations CMR, puis le développement du mécanisme causal hypothétique. Ce dernier a été décomposé, selon la MTP, en parts sous forme d’une entité qui engage une activité. Enfin, cette étape s’est achevée par le développement des propositions qui seront confirmées ou infirmées par les quatre tests de Van Evera (1997, cité dans Befani & Stedman- Bryce, 2017) basés sur l’unicité et la certitude des preuves.
En outre, la collecte des données, la troisième étape, s’est basée sur des entretiens semi-directifs et des données secondaires. Les entretiens ont concerné en premier lieu les responsables de l’implémentation, puis ceux de la mise en œuvre, les bénéficiaires du projet et enfin les représentants des entreprises. Au demeurant, l’échantillon de la population a été constitué par un choix raisonné des éléments qui se caractérisent par une non similarité afin d’augmenter les chances de recueillir une plus grande variété d’explications. Nous avons adopté l’entretien comme mode principal de collecte des données comme c’est le cas pour la majorité des ERs (Manzano, 2016).
Enfin, la dernière étape a consisté dans la vérification des propositions, l’analyse des données et la consolidation de la théorie de l’intervention. En effet, les propositions formulées sont vérifiées à l’aide des quatre tests de Van Evera. Elles sont soit acceptées ou rejetées et, par la suite, les mécanismes de causalité sont actualisés. Puis, l’analyse des données collectées s’est basée sur la logique bayésienne et l’analyse de contenu à l’aide du logiciel Nvivo. Ainsi, l’analyse des données s’est effectuée à deux niveaux. En premier lieu, la logique bayésienne a été mobilisée pour analyser comment une preuve renseigne sur une proposition. En second lieu, l’analyse de contenu a été déployée pour examiner les transcriptions des entretiens et des groupes de discussion.
RESULTATS ET RECOMMANDATIONS DE LA RECHERCHE
La décomposition des mécanismes hypothétiques en parts a permis à la fois de les analyser en profondeur et de les vérifier empiriquement en mobilisant la logique bayésienne. Par ailleurs, l’ER-MTP a révélé que l’implication et l’engagement des superviseurs et des formateurs semblent expliquer l’adhésion des jeunes au projet. De même, l’évaluation a révélé que plusieurs mécanismes, comme la volonté des jeunes d’améliorer leur bien-être, leur personnalité et leur capacite d’adaptabilité, interagissent et sont sensibles à l’environnement organisationnel et aux contraintes socio-économiques qui influencent grandement l’IP des jeunes. De surcroît, le programme de formation doit être adapté aux besoins spécifiques des entreprises partenaires afin de maximiser l’IP en mettant l’accent sur les sessions de soft skill afin de promouvoir la confiance en soi chez les jeunes, ainsi que leur capacité d’adaptation. Enfin, les formateurs doivent établir avec les bénéficiaires une relation basée sur la confiance pour favoriser leur apprentissage. En somme, la mobilisation des principes de la MTP nous a permis de guider la mise en œuvre de l’ER, et par conséquent renforcer son opérationnalisation.
CONCLUSION
La mise en œuvre du cadre conceptuel proposé a augmenté notre confiance dans la faisabilité de la combinaison ER-MTP. Ainsi, la recherche propose de découper les mécanismes dans les configurations CMR en éléments plus petits afin de les étudier en profondeur. En mobilisant la logique bayésienne, l’ER-MTP a permis également de vérifier la valeur probante des preuves collectées afin de confirmer ou infirmer les mécanismes hypothétiques dans les configurations CMR. Nous concluons qu’il est possible de combiner les deux approches sans prétendre que cette démarche réponde à tous les défis de l’ER. Cependant, la recherche présente certaines limites. La première est le biais des entretiens en face-à-face avec les différentes parties prenantes. Deuxièmement, les familles, dont l’influence est déterminante dans l’IP, n’ont pas été interrogées en raison de la difficulté à les joindre. Pour conclure, nous proposons de combiner les tests de Van Evera avec un outil mathématique pour rendre les hypothèses déployées dans la combinaison ER-MTP plus robustes et crédibles. A cet effet, nous préconisons l’utilisation de la probabilité du théorème de Bayes pour quantifier la valeur probante de la preuve comme c’est le cas de la mise à jour de la confiance bayésienne (Bayesian Confidence Updating) (Befani & Stedman-Bryce, 2017)