Accueil du portailIGPDE-EDITIONS-PUBLICATIONSGestion publiqueAction publique. Recherche et pratiques › Les expérimentations aléatoires en économie, une potion miracle pour l'action publique ?
Logo IGPDE

Institut de la gestion publique et du développement économique
Opérateur de formation permanente du ministère de l'Économie et des Finances et du ministère de l'Action et des Comptes publics

Espace éditions et publications de l'IGPDE

Les expérimentations aléatoires en économie, une potion miracle pour l'action publique ?

Par Arthur Jatteau

Par l’intermédiaire d’Esther Duflo et de son laboratoire le J-PAL, les expérimentations aléatoires ont connu un essor remarquable depuis les années 2000 en économie et sont présentées par leurs promoteurs comme une méthode particulièrement robuste dans l’évaluation d’impact. L’histoire de cette méthode est toutefois méconnue et les caractéristiques sociales de ceux qui l’utilisent (notamment leur trajectoire universitaire et professionnelle) peuvent expliquer en partie son succès. L’étude de sa théorie et de son passage à la pratique permet de mieux concevoir les inévitables arrangements qui sont opérés lorsque l’on applique une méthode et les effets politiques que peuvent provoquer l’obsession pour la quantification. 

 

Esther Duflo est une des économistes françaises les plus connues dans le monde, à l’instar d’un Thomas Piketty ou d’un Jean Tirole. On ne compte plus les récompenses qui lui ont été décernées, du prix de la meilleure jeune économiste qui lui a été décerné en France en 2005 par Le Monde et Le cercle des économistes à la médaille Clark obtenue aux États-Unis en 2010. Professeure au MIT, elle y dirige un centre de recherche qu’elle a co-créé : le laboratoire d’action contre la pauvreté (Poverty Action Lab, J-PAL).

Dans le monde du développement, et de plus en plus dans celui de l’évaluation des politiques publiques, la méthode qu’elle préconise rencontre un succès grandissant. Utilisée également en médecine, celle-ci repose sur l’usage du tirage au sort pour apprécier et mesurer l’impact de projets pouvant aller de la distribution de médicaments au développement du microcrédit. Cette méthode, connue en anglais sous le nom de randomized controlled experiments ou randomized controlled trials (qu’on peut traduire en français par « évaluation par assignation aléatoire » ou encore « expérimentation aléatoire »), rencontre un franc succès. Plus de 600 expérimentations de la sorte ont déjà été menées par le laboratoire d’Esther Duflo, sans compter celles effectuées par la Banque mondiale. Mais quelle est cette technique ? De quoi s’agit-il et qu’a-t-elle de spécifique ? Quels sont ses apports mais aussi ses limites ?

 

 

Une méthode ingénieuse… et plus ancienne qu’on ne le croit

 

La question de l’évaluation est loin d’être simple. Pour mieux se représenter les difficultés qu’elle pose, prenons l’exemple d’un projet qui consisterait à distribuer gratuitement des ordinateurs portables à des collégiens. Les objectifs pourraient être de favoriser un accès égal des élèves à l’informatique, de développer l’émergence de nouvelles pratiques pédagogiques ou tout simplement d’améliorer leur niveau scolaire. Pour la simplicité de la démonstration, on se limitera ici à penser que ce dernier objectif est le seul qu’on cherche à atteindre. Le commanditaire du projet, souhaitant connaître son impact, serait en droit de se poser la question : est-ce que « ça marche » ? L’évaluation intervient pour chercher à répondre à cette question et savoir si « quelque chose », que ce soit une politique publique, un programme d’aide ou encore un médicament, donne des résultats.

Comment évaluer?

Toute la difficulté de répondre à une telle question revient à se demander « ce qui se serait passé » si l’intervention n’avait pas existé (on parle d’une « évaluation contrefactuelle »). Admettons que pour soigner des maux de tête, je prenne un cachet d’aspirine. Au bout d’une heure, la douleur a disparu. Puis-je pour autant en conclure que le médicament a marché ? Certainement pas, car pour cela il aurait fallu savoir si ma douleur aurait persisté en l’absence de la prise de ce cachet. Après tout, peut-être que les maux de tête seraient partis d’eux-mêmes. Or au niveau individuel, on ne peut présumer d’une causalité. Il en va de même pour un collégien pris isolément : si son niveau a augmenté quelques mois après la distribution de l’ordinateur, la relation de cause à effet n’est pas démontrée pour autant, car son niveau aurait tout aussi bien pu augmenter sans l’octroi d’un ordinateur.

Une solution pour dépasser ce problème consiste à ne plus raisonner au niveau individuel, mais au niveau groupal. Prenons deux groupes a et B présentant des caractéristiques suffisamment similaires pour les besoins de la comparaison (p.ex. : âge moyen, pourcentage de garçons, niveau scolaire) et permettant ainsi de supposer que l’un comme l’autre agirait de la même manière en l’absence de distribution d’ordinateurs portables. Ainsi, lorsque le groupe A reçoit des ordinateurs portables et que le groupe B n’en reçoit pas, on peut penser que le niveau atteint par le groupe B à la fin de l’année scolaire est celui qu’aurait atteint le groupe A s’il n’avait pas eu d’ordinateurs portables.

Bien sûr, la difficulté repose sur la constitution de groupes pouvant être comparés. Plusieurs méthodes existent, mais la plus convaincante est le tirage au sort. Pour peu que les élèves soient suffisamment nombreux (ces chiffres se calculent à l’aide des lois statistiques), il y a de grandes chances (et celles-ci se mesurent) pour qu’un tirage au sort permette de constituer des groupes semblables suivant des variables mesurables (comme le niveau) et non-mesurables (comme le talent).

Voilà donc la méthode des expérimentations aléatoires : diviser une population-cible en deux groupes. Dans notre exemple, le programme est appliqué au groupe de traitement (ou le groupe test), tandis que le groupe de contrôle (ou le groupe témoin) ne reçoit pas d’ordinateurs. Au bout d’un certain temps, une comparaison est faite en sui­vant un certain nombre d’indicateurs et la différence entre les groupes permet ainsi de mesurer l’effet du programme testé.

     

    Une longue histoire

    Bien qu’Esther Duflo et ses collègues soient régulièrement présentés comme étant à l’origine de cette méthode, celle-ci possède pourtant une longue his­toire et son utilisation, en économie comme dans d’autres disciplines, est relativement ancienne. La question de l’évaluation se pose en effet dans bon nombre de domaines, comme la psychologie, la médecine, les sciences de l’éducation ou encore l’agronomie, pour ne citer que ceux qui ont joué un rôle majeur dans le développement de ce que sont aujourd’hui les expérimentations aléatoires.

    Son origine peut être associée à l’apparition pro­gressive de l’idée de s’appuyer sur des groupes.

    D’un autre côté, il a fallu mettre à jour les vertus du tirage au sort en matière d’évaluation. Il semble que ce soit en psychophysique (une branche de la psychologie qui vise à mesurer les sensations) qu’on y eut pour la première fois recours, à la fin du XIXe siècle.

    Quoi qu’il en soit, il est difficile de désigner une discipline unique comme étant à l’origine des expérimentations aléatoires, tant la naissance de ces déterminants apparaît multifactorielle. Néanmoins, c’est la médecine qui, dans l’après Seconde guerre mondiale, va contribuer à stabiliser la méthode de l’évaluation aléatoire (avec ce qu’on appelle les « essais cliniques randomisés ») et à la diffuser. À partir de la fin des années 1960, elle va largement être utilisée aux États-Unis afin d’évaluer des politiques publiques. La seule nouveauté de ce point de vue qu’apportent Esther Duflo et ses collègues demeure son usage dans le milieu du développement international, qui était alors inédit, surtout à cette échelle.

     

    Quelques résultats dans des secteurs de politiques publiques

    Depuis la création du J-PAL en 2003, des centaines d’expérimentations ont donc été lancées, dans des domaines variés : éducation, santé, microfinance, travail, gouvernance, agriculture, environnement… Nous n’en donnons ici qu’un aperçu.

    L’éducation

    La lutte contre l’absentéisme scolaire constitue un enjeu de taille dans les pays en développement, tant du côté des enseignants, qui sont souvent absents, que des élèves. Si l’inscription de ces derniers à l’école est de plus en plus répandue, leur présence régulière est encore loin d’être acquise. C’est la raison pour laquelle ont été mises en place un certain nombre d’expérimentations aléatoires. Au Kenya, où l’école est gratuite mais l’uniforme payant et obligatoire, la distribution gratuite d’uniformes a été testée pour étudier ses effets en termes de lutte contre l’absentéisme. Un groupe d’écoliers a eu droit aux uniformes, alors qu’un autre n’a rien obtenu, tous les deux étant constitués de manière aléatoire. À l’issue de l’expérience, on remarque que l’absentéisme a baissé de 43 % dans le groupe de traitement (c’est-à-dire celui ayant eu les uniformes). Toujours au Kenya, d’autres expérimentations en milieu scolaire ont été menées, comme la distribution de vermifuges (pour lutter contre les vers intestinaux) ou de repas gratuits le midi, qui ont donné des résultats probants. Du côté des enseignants, on a par exemple tenté de voir en Inde ce que produisaient des incitations financières à la présence. Les résultats sont positifs, même si l’expérience elle-même se trouve à la limite de l’éthique. Afin de contrôler la présence des enseignants, on leur avait en effet distribué des appareils photos numériques qui conservaient, de manière inviolable, la date et l’heure de chaque cliché. Pour attester de leur présence, les institu­teurs devaient alors se prendre en photo avec leur classe le matin ainsi qu’en fin d’après-midi.

    Une fois les élèves à l’école, il n’est pas rare qu’ils n’apprennent que peu de chose. Une des raisons peut être la taille des classes. Au Kenya, on a ainsi regardé ce qu’il se passait lorsqu’on divisait le nombre d’élèves par classe par deux (passant de 80 à 40). Le niveau du groupe de traitement n’est pas significativement meilleur que celui du groupe de contrôle. Il est néanmoins difficile d’en déduire que la taille des classes n’a pas d’effet de manière générale… Autre idée : la distribution de manuels scolaires gratuits. Mais là encore les effets sont décevants. Cette problématique du niveau scolaire se retrouve également dans les pays occidentaux. Ainsi, des primes aux résultats ont été testées aux Pays-Bas sur des étudiants, sans qu’on note d’effets significatifs. À l’inverse, l’expérience de la « mallette des parents » menée dans l’académie de Créteil auprès des parents d’élèves de 6e comporte des résultats positifs. Il s’agissait pour les établissements participants de mener une série de trois réunions informant les parents du rôle qu’ils pouvaient jouer dans l’éducation de leurs enfants.

    La santé

    Après l’éducation, la santé est l’autre grand domaine dans lequel ont lieu les expérimentations aléatoires. Dans les pays en développement notamment, la lutte contre les pratiques sexuelles à risque constitue un objectif de santé publique de premier plan. En Tanzanie, on a ainsi obtenu des résultats positifs dans une expérimentation visant à inciter financièrement les participants à ne pas attraper de maladies sexuellement transmissibles. Une expérience similaire au Kenya a quant à elle obtenu des résultats peu concluants, ce qui pose la question, sur laquelle nous reviendrons, de la généralisation des résultats.

    Un débat lancinant en économie de la santé se pose afin de savoir s’il vaut mieux subventionner entièrement les biens (de manière à ce qu’ils touchent le plus grand nombre, quitte à dépenser de l’argent inutilement vers ceux qui n’en ont pas besoin) ou les faire payer, même partiellement (afin qu’ils touchent prioritairement ceux qui en ont le plus besoin, au risque que les plus démunis n’y aient pas accès). Une expérimentation aléatoire menée au Kenya cherche à y répondre, en se concentrant sur les moustiquaires. Toujours à l’aide d’un tirage au sort, deux groupes ont été constitués. L’un avait accès à des moustiquaires gratuitement, l’autre à un prix plus faible. Le pre­mier groupe obtient de meilleurs résultats que le second, laissant entendre, dans ce contexte, qu’il vaut mieux subventionner entièrement ces biens de santé. Toujours du côté de la prévention, on a mesuré l’impact d’incitations à faire vacciner ses enfants, en Inde. Quoique faible (un sac de len­tilles), l’incitation a eu des effets significatifs.

    Travail et emploi

    La lutte contre le chômage est une problématique qui, depuis une quarantaine d’années, agite l’économie du travail. Différentes approches sont préconisées. Certaines d’entre elles ont été testées à l’aide d’expérimentations aléatoires. Au Danemark, par exemple, on a cherché à voir les effets d’un accroissement de la fréquence de ren­contre des chômeurs avec les services de l’emploi. Il semble que cette mesure soit très positive, quoiqu’une expérience similaire menée aux Pays-Bas ait eu des résultats moins encourageants, ce qui pose une nouvelle fois la question des enseignements qu’on peut tirer d’une telle méthode, au-delà du contexte dans lequel ils ont été obtenus.

    En France, on a cherché à comparer les services publics de placement des chômeurs aux opéra­teurs privés. Il s’agit là encore d’un vieux débat en économie publique, sur l’efficacité relative du public face au privé. Des chômeurs, tirés au sort, ont ainsi été répartis entre les services publics de l’emploi et des opérateurs privés. Les premiers obtiennent de meilleurs résultats que les seconds. Une autre expérience originale, menée également en France, visait à mesurer les effets de la subvention du permis de conduire auprès de jeunes en difficulté. Si, comme on pouvait s’y attendre, elle permet d’accroître les chances d’obtention du précieux sésame, elle n’a pas d’effet à court terme sur l’insertion professionnelle.

     

    Des limites sérieuses

    Les limites d’une telle méthode sont nombreuses et la présentation que l’on va en faire ne tend pas à l’exhaustivité. Nous ne parlerons pas des questions éthiques, pourtant particulièrement sensibles dès lors que des individus sont parties prenantes de ces expériences, ni des considérations techniques (qui relèvent de l’économétrie), pour nous concentrer sur les limites qui sont davantage liées à la mise en œuvre des politiques publiques.

    Des difficultés d’application

    Si les expérimentations aléatoires peuvent être séduisantes en théorie, elles rencontrent, dans leur mise en place et comme tout processus expérimental, certaines difficultés. Il arrive ainsi que les acteurs de terrain soient réticents à l’usage de l’aléatoire ou à la constitution de groupe témoin. Il est en effet délicat dans certains cas de refuser à des individus l’accès à des prestations dont l’impact est testé sous prétexte qu’ils ne sont pas dans le « bon » groupe. Les participants aux expérimentations peuvent eux-mêmes fausser les résultats, par exemple en modifiant leur comportement à la suite du tirage au sort (on parle alors de biais de randomisation). L’impact mesuré ne provient donc pas exclusivement du programme testé, mais du fait même qu’on l’expérimente. De manière plus générale, on parle d’« effet Hawthorne » lorsque les participants à une expérimentation modifient leur comportement simplement parce qu’ils en font partie. Dans l’exemple développé plus haut, on peut penser que des collégiens soient plus impliqués dans leur travail simplement parce qu’ils font partie d’une expérimentation et que cet intérêt qu’on leur porte les valorise, indépendamment du projet dont on cherche à apprécier l’impact.

    Une limite a trait à l’application possible des résultats de telles expérimentations et renvoie à la différence de tempo­ralité entre ceux qui les mènent (les chercheurs) et ceux qui les commandent ou à qui les résultats sont destinés (les politiques). Les premiers s’inscrivent dans un temps sensiblement plus long que les seconds et ne sont pas soumis aux cycles électoraux comme eux. Dès lors, les politiques peuvent ne pas avoir le temps d’attendre les résultats des expérimentations aléatoires ainsi menées, alors que les chercheurs peuvent ne pas être en mesure de fournir les résultats à temps pour susciter l’intérêt des politiques. Ce hiatus entre ces deux mondes a contribué à la perte de vitesse de cette méthode aux États-Unis à partir des années 1980.

    La question de la généralisation et de la causalité

    La question que l’on est en droit de se poser est : que nous apprennent les expérimentations aléatoires ? Autrement dit : peut-on généraliser les résultats d’une expérimentation aléatoire ? Il n’est pas évident de tirer des conclusions de portée générale à l’aide d’une seule évaluation menée à un moment donné, dans un lieu donné et avec une équipe donnée. Dans la littérature, cette question porte le nom de « validité externe » : dans quelle mesure les résultats tirés d’une expérimentation particulière sont-ils « valides », et tiennent-ils en dehors du contexte dans lequel ils ont été produits ?

    Dans l’état actuel de la littérature, cette question, pourtant fondamentale, est marginalisée et on ne peut que le regretter. Bien sûr, une expérimentation aléatoire prise isolément n’est pas généralisable. Ni même deux expérimentations, dont l’une reproduirait dans un autre cadre la première, car elles ne nous disent rien sur ce que donnerait une troisième. Les conditions de la généralisation doivent être pensées en s’attardant sur l’étude du contexte dans lequel s’est déroulée l’expérience. Le recours aux sciences sociales devrait permettre de fournir les outils à même de comprendre les résultats des traitements. Paradoxalement, alors que les expérimentations aléatoires ont l’avantage d’être réalisées in vivo, et non à l’intérieur d’un laboratoire, la prise en compte des réalités du ter­rain apparaît encore faible dans les conclusions qui en sont tirées. Pour y remédier, il conviendrait de sortir du carcan économiciste dans lequel s’enferment Esther Duflo et ses collègues, et bon nombre d’économistes de manière générale.

    De fait, une confusion s’établit souvent en matière d’évaluation et doit être levée. Il s’agit de la distinction, bien établie en médecine, entre les preuves d’efficacité et les preuves de causalité. Autrement dit, savoir si un programme marche, ce n’est pas savoir pourquoi il marche. On peut « montrer » qu’une distribution gratuite d’ordinateurs portables a des effets positifs sur le niveau des collégiens, mais c’est autre chose que de savoir pourquoi. Cela provient-il des logiciels fournis avec la machine ? Du surcroît d’estime de soi que procure ce programme ? De l’investissement des parents et/ou des enseignants qu’il entraîne ? Là encore, une investigation, impliquant diverses méthodes (notamment qualitatives), est néces­saire pour espérer mettre à jour les mécanismes causaux sous-jacents.

    Les expérimentations aléatoires, une politique de quantification

    Il est possible et même souhaitable de replacer les expérimentations aléatoires dans une perspective plus large d’analyse de la place de la quantifica­tion dans nos sociétés. Elles s’inscrivent dans ce que le sociologue Albert Ogien appelle la « mathématisation du monde social ». Non que les chiffres soient néfastes en soi, bien au contraire, mais c’est leur utilisation exclusive et non-réflexive qui pose ici question. De fait, cette obsession quantitative, qui se caractérise par un non-recours quasi-absolu aux autres sciences sociales, appauvrit la compréhension du monde social.

    Les expérimentations aléatoires, en ce qu’elles promeuvent l’usage du chiffre dans la sphère politique, ne sont donc pas nouvelles. Mais avec l’usage du tirage au sort, dont ses promoteurs espèrent qu’il constitue en quelque sorte un point final à la « querelle de l’évaluation », on les pare d’un voile d’objectivité scientifique et on masque dans le même temps à quel point leur usage est un acte politique (que ce soit dans le choix du programme testé, des indicateurs utilisés pour mesurer son impact, etc.). Les expérimentations aléatoires sont vues comme l’étape ultime du processus de quantification, qui permettrait de dépasser, par le chiffre, les débats idéologiques. La science devrait alors supplanter le politique, dont il conviendrait de réduire la part, comme semble l’exprimer Esther Duflo dans son dernier ouvrage, co-écrit avec Abhijit Banerjee, "Repenser la pauvreté", publié en français en 2012. Une telle démarche laisse dubitatif et enjoint au rappel que les expérimentations aléatoires, pas plus et peut-être même moins que d’autres méthodes d’éva­luation, ne peuvent s’abstraire des considérations politiques.

     

    Pour aller plus loin

    BANERJEE A.V. et DUFLO E., « L’approche expérimentale en économie du développement ». Revue d’économie politique, vol. 119, p.691 726, 2009.

    DUFLO E., HANNA R. et RYAN S.P., « Incentives work: getting teachers to come to school ». American Economic Review, vol. 102, n° 4, p.1241 1278, 2012.

    JATTEAU A., Les expérimentations aléatoires en économie, Paris, La Découverte. 2013.

    LABROUSSE A., « Nouvelle économie du développement et essais cliniques randomisés : une mise en perspective d’un outil de preuve et de gouvernement ». Revue de la régulation, vol. , n° 7, 2010.

    MIGUEL E. et KREMER M., « Worms: identifying impacts on education and health in the presence of treatment externalities ». Econometrica, vol. 72, n° 1, p.159 217, 2004.

     

     

     

    L'interview

    Gros plan sur les expérimentations aléatoires en économie

     

    Dans cette interview avec Arthur Jatteau, ce dernier revient sur le sujet de sa thèse qui porte sur le fait de "faire preuve par le chiffre" en prenant comme objet d'étude "la méthode des expérimentations aléatoires". Afin de mieux cerner son approche, nous l'avons interrogé sur les cadres théoriques qu'il a mobilisé pour aborder ces questions, sur sa façon d'enquêter sur le terrain et les données dont il a fait usage et sur les conclusions qu'il a tiré dans sa thèse.

    Durée de l'interview : 14 minutes 38 secondes

       

    À propos de l'auteur

     

    Arthur Jatteau est docteur en sciences économiques, il a soutenu en 2016 une thèse de sociologie et d'économie intitulée " Faire preuve par le chiffre? Le cas des expérimentations aléatoires en économie" pour laquelle il a reçu le prix de thèse de la Cour des comptes.

       

    Aidez-nous à mieux vous connaître et à mieux savoir vos attentes !


    Quels sont les sujets qui vous intéressent ?
    Quels sont vos formats privilégiés : entretien, enquête, synthèse…?
    Sur quels supports préférez-vous consulter vos informations : papier, smartphone, ordinateur…?
    Vos remarques et suggestions nous sont indispensables pour mieux cerner vos attentes et améliorer cette revue.

    Un questionnaire est accessible à : www.wooclap.com/APRP grâce auquel nous saurons mieux répondre à vos aspirations et vous apporter l’information que vous attendez.
    Nous vous remercions de prendre quelques minutes pour répondre à notre questionnaire.

       

    S'abonner à la revue (gratuit) et nous suivre sur Twitter

     

    Contact

    Vous pouvez nous contacter à l'adresse suivante: recherche.igpde[a]finances.gouv.fr

    Partagez cet article !