Coopération au développement : Regard critique de l’Évaluatrice spéciale

Joël Tabury
23 octobre 2018
Comme chaque année, le SES vient de transmettre au ministre de la Coopération au développement, ainsi qu’au Parlement, un rapport sur les activités de l’année 2017. Glo.be est allé à la rencontre de Cécilia De Decker, Évaluatrice spéciale depuis 2016

L’Évaluatrice spéciale est habilitée à évaluer la Coopération belge au Développement. A la tête du Service de l’Evaluateur Spécial –SES- Cécilia Dedecker gère ce service d’évaluation externe placé administrativement sous l’autorité du Président du Comité de Direction du SPF Affaires étrangères, Commerce extérieur et Coopération au développement. Cette position lui garantit une indépendance dans le choix, la mise en œuvre et la diffusion de ses évaluations.

Portrait de Cécilia Dedecker
© SPF AE

Quels sont les objectifs du Service de l’Évaluation spéciale ?

Nous avons comme principale mission d’évaluer des stratégies, des programmes ou des thématiques relevant de financements de la coopération au développement. Une fois les constats effectués, il nous faut émettre des recommandations. Celles-ci sont établies de façon indépendante bien sûr, mais aussi en collaboration avec les services concernés de la Direction générale du Développement (DGD), et avec d’autres acteurs de la coopération tels que les ONG ou l’agence belge de développement Enabel (ex CTB). Il faut que nos recommandations puissent être implémentées de façon réaliste, en tenant compte des marges de manœuvre respectives.

Une nouvelle mission nous est dévolue depuis 2014. Par arrêté royal, il nous incombe à présent de certifier les capacités en évaluation des organisations qui sont financées par la Coopération belge au Développement. Cela signifie que les ONG belges doivent en interne évaluer leurs propres interventions de façon cohérente.

 

Les procédures d’évaluation, tant celle menées par le SES et nos acteurs belges de la Coopération que celles conduites par vos collègues à l’étranger ou à un niveau supranational, s’inscrivent donc dans une même logique, avec des critères comparables ?

C’est en effet au niveau du Comité d’Aide au Développement (CAD) de l’OCDE que nous discutons et échangeons nos expériences propres afin d’établir les meilleures approches possibles. Il y a donc un ensemble de critères sur lesquels tout le monde s’appuie. Aujourd’hui, toute évaluation doit impérativement répondre à cinq critères.

La pertinence : l'intervention, la stratégie ou la politique répond-elle à des besoins importants ? Les bénéficiaires auront-ils une meilleure qualité de vie grâce à celle-ci ? Est-elle conforme aux priorités, d’une part, de l’État partenaire et d’autre part, de la Coopération belge ?

L’efficacité : l’intervention atteint-elle les résultats attendus ?

L’efficience : atteint-elle les résultats de manière optimale, au regard des moyens et des ressources mis en œuvre ?

La durabilité : atteint-elle des résultats durables (qui persistent après la fin de l’intervention)?

L’impact : a-t-elle un effet à long terme pour les bénéficiaires et a-t-elle une influence sur la communauté ou la société dans son ensemble ? Ces effets peuvent-ils être attribués avec certitude à l’intervention ?

 

Vous dites que ce sont les critères utilisés aujourd’hui. Ces critères d’évaluation devraient-ils être amenés à évoluer ou à être changés dans le futur ?

L’interprétation des critères actuels par les uns et les autres diffère parfois. Prenons le critère de la pertinence par exemple. Celui-ci sous-entend qu’un programme doit répondre à certains besoins. Mais quels sont ces besoins ? Ceux identifiés au niveau des gouvernements ou des politiques nationales ou est-ce plutôt des besoins locaux dont on doit parler ? Il y a donc encore un travail de réflexion à faire sur le « mode d’emploi » actuel.

Cette réflexion est en cours au sein du CAD de l’OCDE et prend aussi en compte des perspectives plus larges. Les critères actuels devront peut-être aussi être adaptés ou ajustés en fonction des Objectifs de Développement durable (ODD) des Nations Unies. Dans ces ODD qui fixent des objectifs à atteindre sur une période de quinze années, il y a aussi une emphase qui est mise sur des questions d’équité, englobant des notions liées aux Droits de l’Homme notamment. Il serait certainement opportun d’intégrer ces aspects dans nos évaluations.

Il nous incombe à présent de certifier les capacités en évaluation des organisations qui sont financées par la Coopération belge au Développement. 

En termes de moyens et de finalités, le SES en Belgique est-il comparable à ce qui se fait dans d’autres pays ?

Je dispose d’une équipe de 6 personnes, dont une assistante. A côté de cette équipe relativement réduite, je dispose d’un budget d’un peu moins de 1.200.000 EUR pour engager des experts externes pour les évaluations. Sans me plaindre de notre situation, à titre de comparaison, aux Pays-Bas, ils sont 28 personnes et, en Allemagne, ils ont un service d’une cinquantaine de personnes mais sans faire appel comme nous et les Néerlandais à des experts externes.

Il faut aussi reconnaitre que les pays anglo-saxons et les pays nordiques ont des moyens plus conséquents. Cela se reflète au niveau des discussions du CAD de l’OCDE au sein duquel leurs membres se montrent les plus actifs.

 

Pour en revenir aux acteurs belges du développement, cette nouvelle mission de certification de leurs procédures d’évaluation interne répond-t-elle donc à cette logique d’uniformisation des approches à tous les niveaux ?

Les évaluations internes au sein des organisations ont toujours existé. Mais par le passé, elles étaient plus perçues comme une façon de rendre des comptes, de se justifier par rapport à l’argent dépensé. Le travail effectué ces dernières années tend à mieux formaliser les choses avec comme but d’améliorer la qualité des évaluations internes. Aujourd’hui , on insiste plus sur la qualité des données sur lesquelles on s’appuie pour faire les évaluations. Ces dernières deviennent plus crédibles et donc plus utilisables. L’important est évidemment qu’elles s’inscrivent dans une logique d’apprentissage, et pas simplement de justification auprès de l’autorité publique.  L’objectif est de pouvoir rectifier le tir lorsque certains projets peuvent encore être améliorés.

 

Pour aborder les lessons learned  justement, depuis le début de votre mandat, avez-vous rencontré des situations catastrophiques en termes de résultats ?

Au cours des dernières années, les évaluations étaient contrastées en termes d’impact. L’un des projets manquait de résultats convaincants. Il s’agissait d’un projet d’appui à l’enseignement technique et professionnel au Congo. On s’est rendu compte que le matériel était bien livré mais il était bien souvent non-utilisé, et dans tous les cas, sous-utilisé. Les causes sont multiples : le personnel enseignant n’a pas reçu de formation (il est donc incapable d’en faire un usage optimal), les élèves et les écoles n’avaient pas les moyens d’acheter les consommables (ou les consommables ne sont pas disponibles sur le marché local), la distribution du courant faisait défaut, etc.

L’important est évidemment que les évaluations s’inscrivent dans une logique d’apprentissage, et pas simplement de justification auprès de l’autorité publique.

A contrario, beaucoup de projets vous sont-ils apparus comme de véritables success stories ?

Certaines évaluations permettent de mettre en lumière des effets très positifs pour les populations. Je pense notamment à des projets d’adduction d’eau dans des villages au Pérou.  L’objectif d’assurer un meilleur approvisionnement  en eau avait conduit à de vraies plus-values pour les populations locales. Outre le temps gagné pour les villageois, des impacts étaient aussi observables sur la santé et l’hygiène grâce à cet accès à l’eau potable.

Mais plutôt que de nous attacher aux résultats de projets spécifiques, notre travail avec le SES consiste en des évaluations plus globales, avec une approche transversale, impliquant plusieurs organisations sur un même thème. Pour le rapport de l’année 2017, c’est le thème de l’appui au secteur privé qui a été repris avec une sélection de projets qui ont été jugés très pertinents à leurs niveaux (appuyant des coopératives, des groupements de producteurs, des entreprises locales ou encore des institutions financières locales). Des résultats ont été observés en termes d’augmentation de la productivité et des revenus, essentiellement grâce à l’introduction de nouvelles pratiques, l’acquisition de nouvelles compétences, l’accès à de nouveaux marchés et l’augmentation de la production qui en découle. Les résultats sont toutefois assez contrastés selon les capacités organisationnelles des coopératives appuyées. Par exemple au Pérou, des résultats étaient très positifs pour une coopérative de café et de cacao disposant d’une leader forte et de la confiance de ses membres. En revanche, les résultats étaient très faibles dans une autre coopérative qui avait connu des dysfonctionnements organisationnels ayant affecté la confiance des membres et des partenaires.   

 

Comment choisissez-vous les thèmes qui seront plus spécifiquement évalués d’une année à l’autre ?

Cela se fait via de multiples consultations en concertation avec la cellule stratégique du Ministre et le comité stratégique de la DGD. Les coupoles des fédérations d’ONG sont associées à la réflexion, tout comme nos postes diplomatiques, ou encore ENABEL. Il faut alors prendre en compte certaines échéances car les programmes doivent être suffisamment avancés pour faire l’objet d’une évaluation. Ce qui importe, c’est de voir le chemin parcouru entre une décision prise et les effets produits. On essaie plutôt de faire des évaluations en fin de cycle. Elles durent environ 9 mois, en incluant sa préparation et sa finalisation. Cela reste en somme une photo prise à un moment donné !

 

Comment le suivi des recommandations est-il assuré ?

A l’issue des évaluations, les rapports sont transmis au Ministre, à l’administration (DGD) et aux organisations concernées. Ces différents acteurs apportent une réponse aux recommandations en indiquant s’ils les acceptent ou non et les actions qu’ils planifient pour améliorer la situation à l’avenir. Jusqu’à présent, il n’y avait pas de suivi de ces réponses managériales par la suite. Depuis cette année, la DGD a pris en compte cette préoccupation et a fait un premier exercice de suivi des actions entreprises.

Ceci a permis de dresser un regard assez positif en constatant que certaines évaluations ont bien été appropriées même si face à certains constats majeurs, comme par exemple l’attention portée à la durabilité des interventions, il reste des enjeux importants tout particulièrement dans le contexte des pays les moins avancés. Les conditions y sont moins présentes pour que des effets durables soient générés après la fin des interventions.

La réglementation de 2016 concernant la coopération non gouvernementale a évolué favorablement prenant en compte l’une de nos recommandations visant à déplacer le curseur d’un rapportage sur les activités vers un rapportage davantage axé sur les effets des interventions sur les populations.

 

Voir le rapport annuel du SES

Coopération belge au Développement
Retour au dossier
Imprimer
Dans la même catégorie - Article 5 /29 Les Européens continuent à soutenir la coopération au développement