Ressources d'intérêt
Expériences sociales
Contexte
La SRSA s’emploie depuis 1991 à promouvoir un plus grand recours aux expériences sociales afin de mettre à l’essai les nouvelles idées de politiques sociales. On n’a guère eu recours aux expériences aléatoires en sciences sociales avant la deuxième moitié du 20e siècle. À vrai dire, il a même fallu attendre bien après la Deuxième Guerre mondiale pour que se répande l’évaluation rigoureuse des interventions médicales, en particulier des nouveaux traitements médicamenteux, dans le cadre d’essais cliniques comparatifs aléatoires, qui sont presque devenus systématiques aujourd’hui.
On trouvera un excellent historique des progrès réalisés en recherche clinique dans l’ouvrage suivant : MARKS, H. M. (1997). The progress of experiment: Science and therapeutic reform in the United States, 1900–1990. Cambridge, Royaume-Uni, Cambridge University Press.
En réalité, c’est l’analyse de la production agricole de Ronald A. Fisher qui a jeté les bases des expériences faisant appel à l’assignation aléatoire. En effet, Fisher a sélectionné de façon aléatoire les champs dans lesquels on appliquerait divers engrais et a démontré que les différences systématiques observées dans les cultures agricoles étaient attribuables à la fertilisation. Il a par la suite aidé les autres chercheurs à comprendre comment mettre en œuvre des études faisant appel à l’assignation aléatoire et comment tirer des conclusions statistiques formelles de leurs résultats.
L’ouvrage classique de Ronald A. Fisher est le suivant : FISHER, R. A. (1925). Statistical methods for research workers. Edinburgh, Royaume-Uni, Oliver et Boyd.
Au cours des 50 dernières années, les méthodologies à assignation aléatoire sont devenues « la norme » généralement admise dans les études d’évaluation. La dernière édition du Digest of Social Experiments renferme une liste de quelque 260 expériences sociales, entreprises de 1962 à 2003 et touchant près d’un million de personnes.
GREENBERG, D. et M. SHRODER (2004). The digest of social experiments, troisième édition. Washington, D.C., The Urban Institute Press.
Pendant la majeure partie du dernier demi-siècle, le recours accru aux expériences aléatoires en politiques sociales était un phénomène typiquement américain. En effet, la liste des expériences sociales du Digest renferme 225 expériences menées aux États-Unis et seulement 35 expériences entreprises ailleurs (14 au Royaume-Uni, 5 au Canada, 3 aux Pays-Bas, 3 en Norvège et une dans chacun des pays suivants : Allemagne, Argentine, Australie, Colombie, Danemark, Inde, Israël, Mexique, Suède et Suisse).
Parmi les expériences canadiennes mentionnées dans le Digest figurent le Programme expérimental manitobain de revenu annuel de base (MINCOME), entrepris dans les années 1970, et quatre expériences auxquelles ont pris part la SRSA et Ressources humaines et Développement social Canada : le Projet d’autosuffisance, le Projet de supplément de revenu, le Projet d’innovation en emploi communautaire et $avoir en banque (on trouvera des renseignements sur ces expériences dans les pages de ce site Web).
Le Digest a omis une expérience menée en Ontario de 1997 à 2001 afin de mettre à l’essai une stratégie de réduction de la criminalité chez les jeunes contrevenants ayant commis des crimes graves. Cette expérience a été menée par le Centre for Children and Families in the Justice System et financée par le ministère des Services sociaux et communautaires de l’Ontario et le Centre national de prévention du crime.
On trouvera un rapport sur cette expérience à l’adresse www.lfcc.on.ca/CCFJS_researchreports.html : CENTRE FOR CHILDREN AND FAMILIES IN THE JUSTICE SYSTEM (2002). One step forward: Lessons learned from a randomized study of Multisystemic Therapy in Canada. London, Ontario, Centre for Children and Families in the Justice System.
Politique fondée sur les preuves
L’intérêt grandissant pour les expériences aléatoires est lié au concept de « politique fondée sur les preuves », une idée qui a gagné de l’importance en Grande-Bretagne pendant les années 1990 et qui reposait sur le concept de « médecine fondée sur les preuves » mis de l’avant par la Collaboration Cochrane. La Collaboration Cochrane, qui porte le nom de l’épidémiologiste britannique Archie Cochrane, a été créée en 1993. Il s’agit d’une organisation à but non lucratif internationale et indépendante, vouée à la diffusion d’une information précise et actuelle sur les effets des soins de santé dans le monde entier. La bibliothèque que gère la Collaboration Cochrane contient à l’heure actuelle près de 450 000 articles sur des expériences aléatoires menées en médecine.
La Collaboration Cochrane a son site Web au www.cochrane.org.
Plus récemment, des efforts ont été déployés pour adapter la méthode Cochrane à un éventail plus vaste de questions stratégiques. La Collaboration Campbell a ainsi été inaugurée en février 2000. Cette organisation a pour but avoué de produire, de diffuser et de tenir à jour des comptes rendus systématiques d’études réalisées sur l’efficacité des interventions sociales et comportementales, y compris dans le domaine de l’éducation. Au centre des activités de la Collaboration Campbell se trouvent les « comptes rendus Campbell », des comptes rendus systématiques des résultats d’études réalisées sur des interventions particulières préparés selon des protocoles rigoureux. La Collaboration Campbell poursuit deux objectifs avec ces comptes rendus : d’une part, passer en revue les études d’évaluation et séparer le bon grain de l’ivraie et, ce faisant, « hausser la barre » de ce qui constitue une preuve fiable, d’autre part, rendre les connaissances actuelles sur l’efficacité des politiques et des programmes sociaux accessibles à un vaste public : les décideurs, les promoteurs, les organismes de prestation de services et autres intervenants, les médias et le grand public (dont ceux qui font l’objet des interventions).
L’adresse du site Web de la Collaboration Campbell est la suivante : www.campbellcollaboration.org.
Au Royaume-Uni, l’engagement pris par le gouvernement à l’égard de la politique fondée sur les preuves est au cœur des efforts de réforme et de modernisation de l’appareil gouvernemental. Le livre blanc britannique de 1999, intitulé Modernizing Government, indique que la politique du gouvernement doit être fondée sur les preuves et les pratiques exemplaires et être évaluée correctement. Le rapport publié la même année par l’Équipe d’élaboration stratégique des politiques du Bureau du Conseil des ministres du Royaume-Uni, Professional Policy Making for the 21st Century, signale que l’élaboration des politiques doit être fondée sur des preuves solides de l’efficacité des interventions.
Un compte rendu des résultats de cet engagement est donné dans DAVIES, P. (2004). Is evidence-based government possible? Conférence présentée par le Jerry Lee Center au 4e Colloque annuel de la Collaboration Campbell, à Washington, D.C., le 19 février 2004. Unité stratégique du premier ministre, Bureau du Conseil des ministres, Londres, Royaume-Uni.
On peut consulter ce document à l’adresse www.policyhub.gov.uk/downloads/JerryLeeLecture1202041.pdf.
On a pu observer un virage similaire aux États-Unis dans le cadre du programme de réforme de l’éducation découlant de la No Child Left Behind Act de 2002, qui accordait une plus grande importance à l’obligation de rendre compte. Cette loi était accompagnée de la Education Sciences Reform Act de 2002, qui avait pour but de transformer le domaine de l’éducation en une discipline fondée sur les preuves au sein de laquelle les décideurs consulteraient systématiquement les meilleures études et données disponibles avant d’adopter des programmes et des pratiques. L’une des premières activités du tout nouvel Institute for Educational Sciences a été d’établir le centre d’information What Works Clearinghouse, qui a pour rôle de fournir des preuves scientifiques des interventions efficaces en éducation et d’évaluer les preuves les plus convaincantes sur les effets des programmes issues des études faisant appel à l’assignation aléatoire ou aux plans expérimentaux de discontinuité de la régression.
Le site Web du centre d’information What Works Clearinghouse peut être consulté à l’adresse www.w-w-c.org.
L’intérêt grandissant envers l’élaboration de politiques fondée sur les preuves et son lien avec l’expérimentation sociale a mené à l’organisation d’un symposium spécial tenu en juin 2002 sur les « essais cliniques aléatoires en sciences sociales » au Collège Nuffield de l’Université d’Oxford. Ce symposium a à son tour donné lieu à la publication d’un volume spécial des Annals of the American Academy of Political and Social Science :
SHERMAN, L. W., rédacteur invité (2003). « Misleading evidence and evidence-led policy: Making social science more experimental ». Annals of the American Academy of Political and Social Science, no 589 (septembre 2003).
Assignation aléatoire
Dans le processus d’élaboration de politiques fondée sur les preuves, on cherche à déterminer « ce qui est efficace » et à investir les maigres ressources publiques dans les initiatives dont l’efficacité a été démontrée. Dans ce contexte, « être efficace » signifie avoir les effets escomptés, et déterminer qu’un programme est efficace signifie établir une relation de cause à effet crédible entre l’intervention et les effets observés.
La caractéristique distinctive de l’expérience aléatoire est le recours à une méthodologie à assignation aléatoire permettant d’assigner de manière aléatoire les participants au projet de recherche à un groupe de participants admissible à recevoir l’intervention mise à l’essai ou à un groupe témoin qui n’y est pas admissible. Cette méthode est la seule à garantir l’élimination des biais de sélection et à fournir ainsi une estimation non biaisée des effets d’un programme.
Le processus d’assignation aléatoire assure qu’il n’existe aucune différence systématique entre le groupe programme et le groupe témoin. L’assignation aléatoire élimine ce genre de biais de sélection en garantissant que les groupes programme et témoin partagent les mêmes caractéristiques, observées ou non, mesurées ou non. Par exemple, les groupes sont identiques sur le plan statistique quant à leur motivation à participer au programme, leurs caractéristiques démographiques et leurs expériences antérieures. La seule chose qui les distingue, c’est qu’un des groupes est admissible au programme et que l’autre ne l’est pas. Toute différence observée au fil du temps dans l’expérience des deux groupes (et dépassant les écarts statistiques s’expliquant par le hasard) peut par conséquent être attribuée avec certitude au programme.
Ce point est important, car les résultats observés chez les participants ne découlent généralement pas de leur seule situation par rapport au programme (c.-à-d., s’ils sont admissibles ou non à y participer). Ces résultats sont aussi susceptibles d’être influencés par les caractéristiques des participants eux-mêmes pendant le déroulement du programme. Ces caractéristiques individuelles représentent des facteurs de causalité additionnels (ou covariables) dans la détermination des résultats. Si les membres des groupes programme et témoin présentent au départ d’importantes caractéristiques qui les distinguent, toute différence observée dans les résultats sera alors attribuable à la fois à la participation au programme et aux différences observées entre les groupes quant à ces autres facteurs de causalité.
Strictement parlant, dans une méthodologie à assignation aléatoire, les valeurs probables des moyennes de toutes les caractéristiques préalables, ou covariables, du groupe programme et du groupe témoin sont les mêmes, bien que leurs valeurs réelles puissent quelque peu varier, surtout dans les petits échantillons. L’assignation aléatoire assure que les deux groupes ne seront pas systématiquement différents, mais elle ne garantit pas qu’ils seront identiques. Des différences aléatoires peuvent donc tout de même se produire. Ces différences ne biaisent cependant pas l’estimation des effets, mais elles en diminuent la précision. Des données sur les caractéristiques de l’échantillon recueillies juste avant l’assignation aléatoire peuvent par la suite être utilisées dans des modèles de régression afin d’améliorer la précision des estimations.
Une documentation de plus en plus abondante est consacrée aux tentatives de reproduction, au moyen de méthodes non expérimentales, des résultats expérimentaux issus des évaluations des programmes d’emploi et de formation aux États-Unis. Les résultats sont généralement décevants.
Voir par exemple :
BELL, S. H., L. L. ORR, J. D. BLOMQUIST et G. C. CAIN (1995). Program applicants as a comparison group in evaluating training programs. Kalamazoo, Michigan, W. E. Upjohn Institute for Employment Research.
FRAKER, T. M. et R. A. MAYNARD (1987). « The adequacy of comparison group designs for evaluations of employment related programs ». The Journal of Human Resources, no 22, p. 194–227.
FRIEDLANDER, D. et P. K. ROBINS (1995). « Evaluating program evaluations: New evidence on commonly used nonexperimental methods ». American Economic Review, no 85, p. 923–937.
GLAZERMAN, S., D. LEVY et D. MYERS (2003). « Nonexperimental versus experimental estimates of earnings impacts ». The Annals of the American Academy of Political and Social Science, no 589 (septembre 2003), p. 63–93.
LALONDE, R. J. (1986). « Evaluating the econometric evaluations of training programs with experimental data ». American Economic Review, no 76, p. 604–620.
La technique et les méthodes de base de l’assignation aléatoire sont bien établies. De nombreux ouvrages et articles ont été publiés sur les avantages de l’assignation aléatoire et les techniques liées à la réalisation d’une expérience sociale.
Voir par exemple :
BORUCH, R. F. (1997). Randomized experiments for evaluation and planning. Thousand Oaks, Californie, Sage Publications.
BORUS, M. E. (1979). Measuring the impact of employment-related social programs. Kalamazoo, Michigan, The W. E. Upjohn Institute for Employment Research.
BURGHARDT, J., S. MCCONNELL, A. MECKSTROTH et P. SCHOCET (1997). Implementing random assignment: Lessons from the National Job Corps study. Princeton, New Jersey, Mathematica Policy Research.
BURTLESS, G. (1995). « The case for randomized field trials in economic and policy research ». Journal of Economic Perspectives, vol. 9, no 2, p. 63–84.
BURTLESS, G. et L. ORR (1987). « Are classical experiments needed for manpower policy? ». The Journal of Human Resources, vol. 21, no 4, p. 606–639.
GREENBERG, D. et P. ROBINS (1986). « Social experiments in policy analysis ». Journal of Policy Analysis and Management, vol. 5, no 2, p. 340–362.
MOHR, L. (1995). Impact analysis for program evaluation, 2e éd. Thousand Oaks, Californie, Sage Publications.
MOSTELLER, F. et R. BORUCH (dir.) (2002). Evidence matters: Randomized trials in education research. Washington, D.C., Brookings Institution Press.
MYERS, D. et M. DYNARSKI (2003). Random assignment in program evaluation and intervention research: Questions and answers. Washington, D.C., US Department of Education, Institute of Educational Sciences, National Center for Education Evaluation and Regional Assistance. Document accessible à l’adresse www.mathematica-mpr.com/publications/PDFs/randomassign.pdf.
ORR, L. L. (1999). Social experiments: Evaluating public programs with experimental methods. Thousand Oaks, Californie, Sage Publications.
SCHMIDT, C. M. (1999). Knowing what works: The case for rigorous program evaluation. (Document de travail no 77). Bonn, Allemagne, The Institute for the Study of Labor (IZA).
SECRÉTARIAT DU CONSEIL DU TRÉSOR DU CANADA (s.d.). Méthodes d’évaluation des programmes : Mesure et attribution des résultats des programmes, troisième édition. Ottawa, Ministre des Travaux publics et des Services gouvernementaux. Document accessible à l’adresse www.tbs-sct.gc.ca/eval/pubs/meth/pem-mep01_f.asp.
Assignation aléatoire des groupes
Des progrès méthodologiques récents pourraient permettre d’élargir la portée des expériences sociales. Par exemple, on a recours à l’assignation aléatoire « en grappes » pour assigner de manière aléatoire des entités plus vastes que la personne. Cette méthode s’applique lorsque l’unité d’analyse est le groupe (p. ex., une collectivité, une classe, une école ou un milieu de travail) ou lorsque les résultats observés chez ceux qui sont exposés à un programme sont susceptibles de « déborder » et d’avoir une incidence sur les résultats des autres.
On a par exemple recours à cette méthode dans des expériences sociales relatives à la prestation de services d’emploi aux résidents d’immeubles de logements sociaux aux États-Unis (le projet Jobs-Plus) et au paiement de prestations aux familles à faible revenu fréquentant les écoles et les cliniques de santé dans les communautés pauvres du Mexique (PROGRESA).
Pour en savoir plus sur ces expériences, voir les ouvrages suivants :
BLOOM, H. S., J. A. RICCIO et N. VERMA (2005). Promoting work in public housing: The effectiveness of Jobs-Plus. New York, New York, Manpower Demonstration Research Corporation, qu’on peut consulter à l’adresse www.mdrc.org/publications/405/overview.html.
SKOUFIAS, E. (2001). PROGRESA and its impacts on the human capital and welfare of households in rural Mexico: A synthesis of the results of an evaluation by IFPRI. Washington, D.C., International Food Policy Research Institute, accessible au www.ifpri.org/themes/progresa/pdf/Skoufias_finalsyn.pdf.
On songe aussi à utiliser cette méthode dans l’évaluation des programmes d’éducation pour lesquels il convient parfois mieux d’assigner de manière aléatoire des classes ou des écoles entières plutôt que des élèves pris individuellement.
Pour en savoir plus sur l’application de cette méthode aux programmes d’éducation, voir les ouvrages suivants :
SCHOCHET, P. (2005). Statistical power for random assignment evaluations of education programs. Document no PR05-36. Princeton, New Jersey, Mathematica Policy Research, Inc., accessible au www.mathematica-mpr.com/publications/PDFs/statisticalpower.pdf.
BLOOM, H., J. BOS et S. LEE (1999). Using cluster random assignment to measure program impacts: Statistical implications for the evaluation of education programs. New York, New York, Manpower Demonstration Research Corporation, accessible à l’adresse www.mdrc.org/publications/93/full.pdf.
Aux États-Unis, la W.T. Grant Foundation appuie le renforcement des capacités à réaliser des évaluations faisant appel à l’assignation aléatoire des groupes. Ces efforts ont entraîné la création d’un service de consultation mis sur pied en collaboration avec Stephen Raudenbush et ses collègues de l’Université du Michigan.
On trouvera de plus amples renseignements sur ce service à l’adresse suivante : www.wtgrantfoundation.org/.
Appariement par calcul des propensions
Bien que la méthodologie à assignation aléatoire soit largement considérée comme « la norme » pour évaluer les effets des programmes, il n’est pas toujours possible ou pertinent d’appliquer l’assignation aléatoire. Une solution de rechange couramment utilisée consiste à établir un groupe témoin dont les résultats seront comparés à ceux des participants qui reçoivent les services du programme. Une façon d’identifier les membres du groupe témoin qui s’avère prometteuse et qui retient l’attention depuis quelque temps est l’appariement par calcul des propensions. Cette technique a été conçue à l’origine pour évaluer de façon non expérimentale les effets de différentes formes de traitements médicaux.
Idéalement, le groupe témoin apparié est établi en repérant, pour chaque membre du groupe programme, un membre du groupe témoin dont les caractéristiques ayant une incidence sur les résultats sont identiques, ce qui est en pratique impossible. Dans l’appariement par calcul des propensions, on calcule un « taux de propension » pour chaque membre du groupe programme et chaque membre potentiel du groupe témoin. Le taux de propension est une estimation de la probabilité (ou « propension ») relative à une personne observée dans le groupe programme plutôt que dans le groupe témoin, compte tenu de ses caractéristiques observées. Par conséquent, le taux de propension est un indicateur composite formé de multiples caractéristiques propres à la personne (ou covariables). Pour chaque membre du groupe programme, on sélectionne pour le groupe témoin le membre potentiel ayant le taux de propension le plus rapproché du membre du groupe programme.
La technique de l’appariement par calcul des propensions est appliquée à l’évaluation des programmes sociaux. Le recours à cette technique a permis aux chercheurs de reproduire les résultats des études expérimentales, du moins dans certains cas.
L’article suivant présente des résultats prometteurs :
DEHEJIA, R. H. et S. WAHBA (1999). « Causal effects in nonexperimental studies: Reevaluating the evaluation of training programs ». Journal of the American Statistical Association, no 94, p. 1053–1062.
Les chercheurs de deux études plus récentes n’ont toutefois pas été en mesure de reproduire les résultats expérimentaux en ayant recours à l’appariement par calcul des propensions, ce qui soulève des questions quant à l’efficacité des outils d’appariement par calcul des propensions.
Voir l’ouvrage suivant pour en savoir davantage sur une tentative de reproduire les résultats d’une évaluation expérimentale des programmes de prévention du décrochage scolaire chez les jeunes :
AGODINI, R. et M. DYNARSKI (2001). Are experiments the only option? A look at dropout prevention programs. Document no PR01-71. Princeton, New Jersey, Mathematica Policy Research, Inc. Ce document est accessible à l’adresse www.mathematica-mpr.com/publications.
Voir l’ouvrage suivant pour en savoir davantage sur une tentative de reproduire les résultats d’une évaluation expérimentale des programmes d’incitation au travail :
BLOOM, H. S., C. MICHALOPOULOS, C. J. HILL et Y. LEI (2002). Can nonexperimental comparison group methods match the findings from a random assignment evaluation of mandatory welfare-to-work programs? New York, New York, Manpower Demonstration Research Corporation, accessible à l’adresse www.mdrc.org/publications/66/full.pdf.