Direction générale du Trésor
Recherche
Guide méthodologique
Politique de l’évaluation des actions d’aide au développement : le guide méthodologique
Rapports d'évaluation
Cette rubrique mentionne soit des évaluations lancées par le ministère de l'Économie, de l'industrie et de l'emploi, soit des évaluations auxquelles il a participé. Selon les cas, les rapports d'évaluation ont été publiés par le ministère de l'Économie, de l'industrie et de l'emploi ou par ses partenaires.
Les évaluations des activités d'aide au développement produites par le ministère de l'Économie, de l'industrie et de l'emploi ont pour objectif de concourir à l'amélioration de l'efficacité de ses activités et d'en rendre compte avec impartialité. Ces évaluations sont conduites conformément au Comité d'aide au développement (CAD) de l'OCDE. Elles adhèrent également à la Charte de la société française d'évaluation (SFE). En conséquence, les appréciations, observations et recommandations exprimées dans le présent rapport le sont sous la seule responsabilité des consultants qui l'ont réalisé et ne reflètent pas nécessairement les vues du ministère.
Mars 2010 – Efficacité de l'interaction des organisations multilatérales dans les pays africains
Décembre 2009 – Évaluation d’une grappe de huit projets financés par le Fasep dans le secteur de l’eau en Asie
Juin 2009 – Évaluation de la coopération de la France avec l'Indonésie (1998-2007)
Juin 2009 – Évaluation rétrospective du Programme pour le renforcement des capacités commerciales (PRCC)
Mai 2009 – Évaluation rétrospective de l'aide budgétaire globale de la France au Burkina Faso
Avril 2009 – Évaluation de la dotation de la France au Fonds pour l'environnement mondial (FEM)
Mars 2010 – Efficacité de l'interaction des organisations multilatérales dans les pays africains
L'unité d'évaluation des activités de développement de la Direction générale du Trésor s'est livrée à un exercice innovant : demander à une équipe indépendante de chercheurs d'étudier quantitativement et qualitativement l'efficacité de l'action conjointe de quatre organisations multilatérales (Banque mondiale, Commission européenne, Banque africaine de développement, PNUD) dans les pays africains de l'ex-Zone de Solidarité Prioritaire (ZSP).
L'étude a été confiée à la Fondation FERDI en partenariat avec des chercheurs de Paris I La Sorbonne et de l'Institut de Recherche et de Développement. Elle a été pilotée d'une part par un comité de suivi réunissant les administrations et agences concernées, d'autre part par un comité scientifique international indépendant. Le travail des chercheurs a été évalué par les membres de ces deux comités conformément aux normes du Comité d'Aide au Développement (CAD) de l'OCDE sur la qualité.
Cette étude n'avait pas pour mandat d'évaluer l'efficacité de chaque institution mais bien de fournir un cadre de réflexion globale sur l'efficacité de l'aide. Les chercheurs ont d'abord décrit l'action des institutions multilatérales dans les pays concernés ainsi que le degré de fragmentation de l'aide. Ensuite, ils se sont penchés sur l'interaction des interventions des quatre institutions étudiées. Une analyse qualitative de leur coopération, de leur harmonisation et de leur alignement a permis d'évaluer les coûts de transaction associés à la fragmentation de l'aide. Sur la base d'une analyse sectorielle, les auteurs ont étudié enfin si les institutions multilatérales sont plus efficaces quand elles interviennent de concert.
Sur la base de ces éléments, les chercheurs ont constaté plusieurs évolutions marquantes, à l'œuvre depuis une dizaine d'années : (i) la montée en puissance de la Commission européenne comme acteur du développement; (ii) l'émergence des nouveaux instruments multilatéraux que sont les fonds dits "verticaux", comme le Fonds mondial ; (iii) la baisse sensible du poids des agences des Nations Unies. Les parts de la Banque mondiale et des banques régionales de développement sont quant à elles relativement stables.
L'étude a également cherché à mesurer dans quelle mesure les institutions multilatérales sont plus efficaces quand elles interviennent de concert. Il en ressort l'absence de lien robuste entre la structure de l'aide sectorielle multilatérale et son efficacité, mais également entre le volume d'aide et les résultats sectoriels. Résultat intéressant, l'aide semble plus efficace lorsqu'elle est mise en œuvre par deux ou trois bailleurs importants plutôt que par un seul ou, à l'inverse, si elle est dispersée entre de très nombreux bailleurs. Une certaine concurrence entre bailleurs ne serait donc pas toujours une mauvaise chose.
Décembre 2009 - Évaluation d’une grappe de huit projets financés par le Fasep dans le secteur de l’eau en Asie
Le Ministère de l'Économie, de l'Industrie et de l'Emploi - Direction générale du Trésor (DG Trésor) - a mené, conformément à ses règles et dans le respect des critères du Comité d'Aide au Développement (CAD) de l'OCDE, l'évaluation rétrospective d'une grappe de 8 projets dans le secteur de l'eau en Asie : 7 en Chine (maîtrise d'ouvrage) et 1 en Indonésie (maîtrise d'œuvre) pour des montants compris entre 687 000 euros et 884 000 euros. Ces projets ont été mis en œuvre entre 1998 et 2007.
Le Fonds d'Aide au Secteur Privé (FASEP) est un instrument financier d'aide-projet géré par la DG Trésor. Il finance des études en amont de projets d'investissement, d'assistance technique ou de coopération à finalité économique ou financière dans les pays en développement ou en transition. Ayant pour objectif le renforcement des capacités des pays bénéficiaires, l'outil s'inscrit dans les orientations françaises de l'aide publique au développement (APD) et les objectifs du Millénaire pour le développement (OMD), notamment dans le secteur de l'eau.
Cette évaluation avait pour objet d'exprimer une opinion indépendante et motivée sur la pertinence, la cohérence et l'efficacité des projets du Fasep dans le secteur de l'eau selon deux axes : l'effet de support aux politiques sectorielles dans les pays d'intervention et l'effet de levier pour les entreprises françaises.
Cette évaluation a été confiée au cabinet d'études SEE et au bureau d'ingénierie Burgeap. Le travail a été piloté par un comité constitué de représentants des différentes administrations concernées (Ministère de l'Economie, de l'Industrie et de l'Emploi, Ministère de l'Ecologie, de l'Energie, du Développement Durable et de la Mer, Agence française de développement) ainsi que de personnalités extérieures qualifiées (Institut de recherche pour le développement-IRD, Centre de coopération internationale en recherche agronomique pour le développement – CIRAD, Partenariat français pour l'eau).
L'évaluation a montré des résultats contrastés vis-à-vis des objectifs des 8 projets Fasep. L'effet de support aux politiques sectorielles de développement est celui qui est le plus clairement atteint par la grappe de projets considérée. En ce qui concerne l'effet de levier, l'appréciation de l'outil Fasep est globalement positive d'un point de vue qualitatif, mais la quantification des retombées reste difficile à réaliser.
Le travail des consultants a été évalué par les membres du comité de pilotage conformément aux normes du Comité d'Aide au Développement (CAD) de l'OCDE sur la qualité.
Un atelier de restitution a été organisé à Paris le 16 décembre 2009 et a permis des échanges fructueux entre toutes les parties et avec les entreprises présentes dans le secteur de l'eau.
Synthèse du rapport
La grille d'appréciation du travail des consultants
Juin 2009 – Évaluation de la coopération de la France avec l'Indonésie (1998-2007)
Cette évaluation a été lancée à la double initiative du ministère des Affaires étrangères et européennes et du ministère de l'Économie, de l'industrie et de l'emploi. La particularité de la coopération de la France avec l'Indonésie est en effet liée aux caractéristiques de ce pays qui sont à la fois celles d'un pays en développement mais également celles d'un pays émergent en termes de croissance et d'ouverture économique.
Quatrième pays du monde par sa population, l'Indonésie est la 15e économie mondiale par son PIB. Parallèlement, son PIB/habitant (1 800 US$ en 2007) la classe en 115e position pour cet indicateur. Au cours de la dernière décennie, l'Indonésie a été marquée par les séquelles de la crise financière asiatique de 1997, mais également par plusieurs catastrophes naturelles, au premier rang desquelles le tsunami de décembre 2004, qui ont affecté durement son économie.
Cette évaluation avait pour objectif l'analyse rétrospective de la coopération française sur les dix dernières années, notamment en termes de cohérence et d'efficacité, afin d'en tirer des enseignements pour l'amélioration de nos instruments et de la qualité de notre partenariat dans nos actions de coopération.
Cette évaluation a été confiée à un cabinet de consultants, le cabinet Ernst & Young, qui s'est adjoint la collaboration de Channel Research. Le travail, réalisé au second semestre 2008 - premier trimestre 2009, a été piloté par un comité constitué de représentants des différentes administrations et agences concernées et de personnalités extérieures compétentes.
Entre 1998 et 2007, les objectifs de la coopération française en Indonésie ont répondu à deux priorités : contribuer au développement durable du pays et l'accompagner dans son émergence. Au début des années 2000, l'aide française s'est également fortement engagée dans le processus d'effacement de la dette, ainsi qu'en matière d'aide d'urgence et d'aide à la reconstruction, dans le cadre de son action post-tsunami. Elle s'est enfin attachée à développer le rayonnement et l'influence de la France au travers de ses grands axes d'actions traditionnels, en dépit des contraintes liées à la situation financière de l'Indonésie.
Les actions de la France ont pu concourir de manière directe ou indirecte à certains des résultats notables enregistrés par l'Indonésie sur ces dernières années : le poids extérieur de la dette de l'État a fortement diminué sur la période étudiée ; la croissance a été vigoureuse permettant au PIB indonésien de tripler sur la période ; la population vivant au-dessous du seuil de pauvreté a diminué de manière significative.
Toutefois, si de nombreux résultats positifs ont été atteints, leur régularité et leur champ n'ont pas été suffisamment stable sur la période. L'évaluation met ainsi en avant l'intérêt et la pertinence de porter plus d'attention à la poursuite d'un partenariat franco-indonésien de qualité.
Synthèse du rapport
La grille d'appréciation du travail des consultants
Juin 2009 – Évaluation rétrospective du Programme pour le renforcement des capacités commerciales (PRCC)
Au premier semestre 2008, la DG Trésor a lancé l'évaluation du programme de renforcement des capacités commerciales (PRCC) conjointement avec l'Agence française de développement (AFD). Le PRCC est un programme d'aide au commerce lancé par la DG Trésor et l'AFD en 2002 (tous deux co-financeurs). Il vise à améliorer les échanges commerciaux et les exportations des pays en développement (PED) par le renforcement des capacités commerciales de leurs agents économiques.
À l'issue d'un appel d'offres, l'évaluation a été confiée à la Société d'études et d'évaluation (SEE). Cet exercice a été piloté par un comité composé de représentants des administrations impliquées dans la gestion de l'outil (Ministère de l'Économie, de l'industrie et de l'emploi, Ministère des Affaires étrangères et européennes, Agence française de développement) et de personnalités extérieures compétentes (économiste du Centre d'études prospectives et d'informations internationales (CEPII)).
L'évaluation avait pour objectif de porter un jugement sur le dispositif et les réalisations du PRCC au regard des critères de pertinence, de cohérence et de performance et d'en tirer des recommandations pour l'avenir du PRCC, en amont de la préparation de la programmation 2009-2011.
L'évaluation a permis de dégager les forces (flexibilité thématique, partenariale et opérationnelle génératrice d'un portefeuille diversifié ; complémentarité avec les autres contributions françaises au secteur et contribution aux objectifs d'aide au commerce convenus dans le cadre de l'OMC) et les faiblesses de l'instrument (volonté modeste de renforcer l'expertise française en matière d'aide au commerce ; contribution non équilibrée du portefeuille des activités soutenues par le PRCC aux ambitions du programme ; carence en matière de système de suivi et d'évaluation des projets financés par le PRCC).
Au niveau des recommandations, les consultants insistent sur la nécessité de « stratégiser » l'outil, d'améliorer la pré–faisabilité des projets pour permettre de réduire les coûts d'ajustements et de renforcer l'implication institutionnelle le plus tôt possible dans le cycle du projet.
Le rapport
La grille d'appréciation du travail des consultants
Mai 2009 – Évaluation rétrospective de l'aide budgétaire globale de la France au Burkina Faso
Le Burkina Faso a été un pays pilote pour le test de la réforme de la conditionnalité de 1998 à 2002 sous les auspices du Partenariat Stratégique pour l'Afrique. Ce test a mené le Burkina Faso à résolument opter pour l'appui budgétaire comme mode préféré de coopération dans la perspective d'une évolution de la conditionnalité portant sur les résultats plutôt que sur les moyens. La France a alloué en 2006 une première Aide Budgétaire Globale (ABG) pluriannuelle au Burkina Faso pour un montant de 6.5 M€/an. Cette aide couvrait la période 2006-2008. La mise en œuvre de cette première ABG pluriannuelle traduit la volonté de la France de s'inscrire dans le cadre des engagements de la Déclaration de Paris, notamment l'engagement d'augmenter la part des ABG dans le total de l'aide. Elle visait aussi à engager la France dans la voie de la modernisation de sa coopération, en développant un outil conforme aux principes d'harmonisation et de coordination ainsi que d'alignement et d'appropriation. Depuis cette première initiative, la France a structuré sa politique en la matière à travers notamment l'adoption de plusieurs documents stratégiques.
Cette évaluation avait pour objet plus précisément de dresser un bilan de cette première expérience de mise en place d'une ABG pluriannuelle et d'en tirer des leçons pour faire évoluer la doctrine et la pratique françaises. En ce sens, elle devait analyser sous l'angle de la pertinence, de l'efficacité et de l'efficience, le fonctionnement pratique de l'ABG française, au regard notamment de la note de doctrine et de la pratique des autres PTF utilisant l'ABG au Burkina Faso.
Cette évaluation a été confiée à un cabinet de consultants, le cabinet SEE, qui s'est adjoint la collaboration d'un consultant local. Le travail a été piloté par un comité constitué de représentants des différentes administrations et agences concernées (Ministère de l'économie, de l'industrie et de l'emploi, ministère des affaires étrangères et européennes, Agence française de Développement). Les appréciations, observations et recommandations exprimées dans le présent rapport le sont sous la seule responsabilité des consultants et ne reflètent pas nécessairement les vues du ministère ou des autres partenaires.
Ce travail a permis de développer la réflexion de la France vis-à-vis de cet instrument et a fourni des éléments d'analyse dans le cadre de prochaines instructions.
L'évaluation a permis de mettre en avant que le contexte burkinabé apparaît tout à fait propice à l'appui budgétaire et les conditions d'éligibilité à l'octroi d'aides budgétaires pluriannuelles peuvent être considérées comme justifiant aisément l'apport d'une aide budgétaire globale de la France au Burkina Faso. L'évaluation a également montré que les critères retenus pour l'ABG sont pertinents par rapport à l'Aide Publique au Développement de la France puisqu'ils adressent deux secteurs importants appuyés par la France : l'éducation primaire et la gestion des finances publiques facilitant ainsi indirectement la mise en œuvre de ses interventions dans ces secteurs et assurant leur durabilité. Parallèlement, les montants de l'ABG française demeurent assez modestes, les effets induits de l'Aide Budgétaire Globale sur les modalités de l'aide utilisés par ailleurs sont assez faibles et une coordination plus intensive entre les différentes institutions est limitée au seul cadre de l'Aide Budgétaire Globale.
Enfin, le rôle des autres partenaires techniques et financiers est évidemment essentiel et il pourrait être pertinent de réaliser dans une deuxième phase une évaluation d'impact dans un cadre conjoint avec les autres bailleurs et portant sur l'ensemble des aides budgétaires allouées au Burkina Faso. La question essentielle de savoir si la pratique actuelle a effectivement conduit à une meilleure appropriation de la politique économique par l'administration burkinabé, comme cela était recherché lors du test initial de la réforme de la conditionnalité, devrait à cette occasion être directement traitée.
Un atelier de restitution a eu lieu à Ouagadougou le 10 février 2009 et a permis un échanger fructueux entre toutes les parties.
La synthèse du rapport
Le rapport
La grille d'appréciation du travail des consultants
Avril 2009 – Évaluation de la dotation de la France au Fonds pour l'environnement mondial (FEM)
Le ministère de l'Économie, de l'industrie et de l'emploi par le truchement de l'unité d'évaluation de la DG Trésor a procédé à l'évaluation rétrospective de la dotation de la France au Fonds pour l'environnement mondial (FEM) sur les volets changement climatique et biodiversité, dans la perspective de la prochaine reconstitution dont les négociations ont lieu en 2009.
Sous la présidence de Laurence Tubiana, directrice de l'Iddri, l'exercice a été piloté par un comité constitué de représentants des différentes administrations et agences concernées (Ministère de l'Économie, de l'industrie et de l'emploi, ministère des Affaires étrangères et européennes, ministère de l'Écologie, de l'énergie, du développement durable et de l'aménagement du territoire, Agence française de développement) ainsi que de personnalités qualifiées (Conseil scientifique et technique du bâtiment, Veolia environnement, Union internationale de conservation de la nature).
Cette évaluation – réalisée par deux cabinets d'études indépendants, SEE et Baastel, sélectionnés après mise en concurrence – avait pour objet de porter un jugement sur la pertinence et la cohérence de la dotation au regard des objectifs poursuivis par la France, des pays bénéficiaires et des autres outils bilatéraux et multilatéraux existants ; d'apporter des éléments pour juger de sa performance en particulier en matière d'efficacité, d'efficience, d'impact et de durabilité et pour en apprécier la qualité et enfin de réaliser une description analytique de l'effet de levier qui en résulte. Les appréciations, observations et recommandations exprimées dans le présent rapport le sont sous la seule responsabilité des consultants et ne reflètent pas nécessairement les vues du ministère ou des autres partenaires.
Initié en 1991, le Fonds pour l'environnement mondial (FEM) joue le rôle de mécanisme financier de quatre conventions internationales pour l'environnement (Convention-cadre des Nations unies sur le changement climatique (CCNUCC), Convention sur la diversité biologique (CDB), Convention des Nations unies sur la lutte contre la désertification (CNULCD), Convention de Stockholm sur les polluants organiques persistants (POP).Ce fonds fiduciaire a pour vocation de financer les coûts additionnels spécifiquement consacrés à la protection de l'environnement mondial au niveau des initiatives publiques ou privées, dans les pays en développement et en transition.
Le budget du FEM est reconstitué tous les quatre ans par les pays bailleurs. Pour la quatrième reconstitution (2007-2010) décidée en 2006, la France s'est engagée à apporter 154 M d'euros au FEM. Il s'agit de la plus importante contribution multilatérale de la France sur les questions environnementales. Par ailleurs, la France est le cinquième contributeur du FEM avec un apport représentant 6,81 % de son budget.
L'évaluation a montré que par sa contribution au FEM, la France soutient un instrument dont la pertinence est unique et dont les orientations institutionnelles correspondent bien aux attentes de la France, avec toutefois un effet de retour aux résultats contrastés.
Les consultants estiment que si la France souhaite que le FEM conserve un rôle spécifique parmi les instruments de financement des enjeux environnementaux globaux, elle pourrait, dans le cadre des négociations relatives à la cinquième reconstitution, défendre en particulier une augmentation du niveau de financement, sauvegarder la spécificité du FEM en rappelant la distinction entre la protection des biens publics mondiaux et l'APD et insister sur la poursuite des efforts de réformes à des fins d'amélioration de l'efficacité et de l'efficience de l'action de l'instrument.
La synthèse du rapport
Le rapport
La grille d'appréciation du travail des consultants
Présentation des consultants lors de l'atelier de restitution du 21 avril 2009 à Sciences Po Paris
Mars 2009 – Évaluation rétrospective du projet RPE (réserve pays émergents) de fournitures d'équipements, de machines-outils et d'assistance technique au Vietnam
Le ministère de l'Économie, de l'industrie et de l'emploi - Direction générale du Trésor (DG Trésor) - a mené l'évaluation rétrospective du projet de fourniture d'équipements, de machines outils et d'assistance technique au Vietnam au bénéfice de la compagnie nationale ferroviaire (Vietnam National Corporation), financé sur la réserve pays émergents.
Le développement de la qualité des infrastructures, tant dans les secteurs de l'énergie et de l'environnement qu'en matière de transports fait partie des priorités vietnamiennes. En répondant à l'objectif de développer les infrastructures de transport dans le cadre de la stratégie nationale des transports, ce projet entendait contribuer à répondre aux besoins du développement socio-économique et au renforcement des liaisons frontalières.
Cette évaluation avait pour objet d'exprimer une opinion indépendante et motivée sur la pertinence, l'efficacité et l'efficience du projet du projet, son adéquation avec les critères d'éligibilité à la réserve pays émergents (RPE) et son impact. En ce sens, l'évaluation devait identifier dans quelle mesure le projet a permis un transfert de technologies en faveur du Vietnam dans le domaine des transports, notamment du transport ferroviaire, et quels gains respectifs les deux parties en ont retirés.
Cette évaluation a été confiée à un cabinet de consultants indépendant, le cabinet Ernst & Young, qui s'est adjoint la collaboration de consultants locaux. Le travail a été piloté par un comité constitué de représentants des différentes administrations concernées ainsi que de personnalités compétentes.
Ce travail a permis de développer la réflexion de la France vis-à-vis de l'un de ses principaux partenaires notamment dans le secteur ferroviaire, permettant de mettre en avant les liens très forts qui lient les deux pays. L'évaluation a montré que le projet était pertinent au regard de l'objectif de la Réserve Pays Émergent et qu'il a été exécuté conformément au contrat. Les obligations contractuelles des différentes parties prenantes du projet ont été respectées sur l'ensemble des aspects du projet. Le projet a apporté des résultats localisés positifs de façon directe ou indirecte (baisse des temps de révision, mise en place d'un système de suivi informatisé dans un atelier permettant d'augmenter le nombre de locomotives en fonctionnement de 8 à 14, augmentation globale de l'activité des ateliers, etc.). Ces éléments positifs et encourageants ne doivent pas masquer les difficultés ou les quelques dysfonctionnements qui ont été constatés. L'évaluation permet de les relever pour être en mesure d'améliorer la qualité de l'offre et in fine sa mise en œuvre. Plus globalement, cette étude a révélé de manière pertinente les besoins importants du secteur ferroviaire au Vietnam et les nouvelles sources de coopération qu'ils peuvent générer.
Dans le cadre de l'application des normes du Comité d'Aide au développement pour une évaluation de qualité, le travail des consultants a été lui-même évalué par tous les membres du comité de pilotage.
Synthèse du rapport
La grille d'appréciation du travail des consultants