Ontwikkelingssamenwerking: kritische blik door de Bijzondere Evaluator

Joël Tabury
23 oktober 2018
De Dienst Bijzondere Evaluatie - DBE- heeft naar jaarlijkse gewoonte een activiteitenverslag 2017 bezorgd aan de minister van ontwikkelingssamenwerking en het Parlement. Glo.be had een gesprek met Cécilia De Decker, die sinds 2016 bijzonder evaluator is.

Cécilia Dedecker, de Bijzondere Evaluator, is bevoegd voor de evaluatie van de Belgische Ontwikkelingssamenwerking. Haar dienst is weliswaar een externe dienst maar hij ressorteert onder de voorzitter van het directiecomité van de FOD Buitenlandse Zaken, Buitenlandse Handel en Ontwikkelingssamenwerking. Een en ander is administratief zo geregeld om te waarborgen dat de dienst onafhankelijk kan beslissen over de keuze, de uitvoering en de verspreiding van de evaluaties.

Portret van Cécilia Dedecker
© SPF AE

Wat zijn de doelstellingen van de dienst Bijzondere Evaluatie?

Onze hoofdopdracht is de evaluatie van de strategieën, programma’s of thema’s die door de ontwikkelingssamenwerking worden gefinancierd. We doen vaststellingen en formuleren op basis daarvan aanbevelingen. We handelen volledig onafhankelijk, maar werken uiteraard ook samen met de betrokken diensten van de Directie-Generaal Ontwikkelingssamenwerking (DGD) en andere actoren van de ontwikkelingssamenwerking zoals ngo’s of het Belgische ontwikkelingsagentschap Enabel (de vroegere BTC). Het is de bedoeling dat onze aanbevelingen in de praktijk kunnen worden gebracht, rekening houdend met de handelingsmarge die geval per geval voorhanden is.

In 2014 kregen we per Koninklijk Besluit nog een nieuwe opdracht toegewezen. Wij moeten nu ook de evaluatiecapaciteiten van de organisaties certificeren die door de Belgische Ontwikkelingssamenwerking worden gefinancierd. Dat betekent dat de Belgische ngo’s hun eigen interventies op een coherente wijze moeten evalueren.

 

Liggen de evaluatieprocedures van de DBE en van de Belgische actoren van de Belgische Ontwikkelingssamenwerking in lijn met die van uw collega’s in het buitenland of met wat er op een supranationaal niveau gebeurt? Worden overal vergelijkbare criteria toegepast?

We bespreken en delen inderdaad onze ervaringen binnen de Commissie voor Ontwikkelingsbijstand (DAC) om zo tot de best mogelijke benaderingswijzen te komen. Er bestaat een stel criteria die iedereen hanteert, vandaag zijn dat er minimum vijf.

Relevantie: speelt de interventie, strategie of de beleidsmaatregel in op belangrijke behoeften? Draagt ze bij tot een betere levenskwaliteit van de begunstigden? Is ze afgestemd op de prioriteiten van het partnerland enerzijds en van de Belgische Ontwikkelingssamenwerking anderzijds? Doeltreffendheid : levert de interventie de verwachte resultaten op?

Doelmatigheid: worden de resultaten op een optimale manier behaald, rekening houdend met de ingezette middelen en hulpbronnen?

Duurzaamheid: worden duurzame resultaten behaald (langdurige resultaten, ook na afloop van de interventie )?

Impact: is er een langetermijneffect voor de begunstigden en heeft de hele gemeenschap baat bij de interventie?

 

Dat zijn de huidige criteria. Kan het zijn dat de evaluatiecriteria in de toekomst veranderen of worden gewijzigd?

De huidige criteria worden hier en daar soms verschillend ingevuld. Neem nu het relevantiecriterium. De voorwaarde is hier dat een programma inspeelt op bepaalde behoeften. Maar welke? Zijn het de behoeften die de regeringen hebben vastgesteld of gaat het eerder om de lokale behoeften? Er moet dus nog verder worden nagedacht over de bestaande “handleiding”.

Deze denkoefening heeft al binnen de DAC van de OESO plaats, ook in een ruimere context. Zo moeten de huidige criteria misschien worden aangepast of bijgesteld op grond van de Duurzame Ontwikkelingsdoelstellingen (SDG’s) van de Verenigde Naties. In de SDG’s die over een periode van vijftien jaar moeten worden verwezenlijkt, komt ook het aspect “billijkheid” naar voren dat in een breder verband te maken heeft met mensenrechten. Het is ongetwijfeld wenselijk deze aspecten in de evaluaties op te nemen.

 

Wij moeten nu ook de evaluatiecapaciteiten van de organisaties certificeren die door de Belgische Ontwikkelingssamenwerking worden gefinancierd. 

Wat de middelen en de doelstellingen betreft, is de DBE in België vergelijkbaar met wat andere landen doen?

Ik heb een team van zes personen, onder wie een assistente, en ik beschik over een budget van een kleine 1.200.000 euro voor de inbreng van externe experten in de evaluaties. Gewoon ter vergelijking en zonder te willen klagen, in Nederland telt de dienst 28 personen en in Duitsland om en bij vijftig, maar daar doen ze in tegenstelling tot België en Nederland geen beroep op externe experten. 

Anderzijds kunnen we er niet omheen dat de Angelsaksische en de Noordse landen over veel meer middelen beschikken. Dat blijkt ook bij de besprekingen binnen de OESO/DAC waar deze leden veel actiever zijn.

Om terug te komen op de Belgische actoren van de ontwikkelingssamenwerking, ligt deze nieuwe opdracht met betrekking tot de certificering van de interne evaluatieprocedures in het verlengde van het streven naar standaardisering van de benaderingswijzen op alle niveaus?

De interne evaluatiesystemen van de organisaties zijn niet nieuw. Maar in het verleden werden die meer beschouwd als een manier om verantwoording af te leggen over de bestede middelen. De werkzaamheden van de afgelopen jaren zijn erop gericht een en ander te formaliseren om tot kwalitatief betere interne evaluaties te komen. Vandaag ligt de klemtoon meer op de kwaliteit van de gegevens waarmee de evaluaties worden uitgevoerd, wat deze evaluaties betrouwbaarder en dus nuttiger maakt. Uiteraard is het belangrijk dat ze zijn ingebed in een leerlogica en niet alleen dienen om verantwoording af te leggen bij de overheid. Het is de bedoeling een en ander te kunnen bijsturen als blijkt dat er nog ruimte voor verbetering is.

Wat met name de lessons learned betreft, hebt u sinds het begin van uw mandaat situaties met barslechte resultaten gezien?

De afgelopen jaren waren er zeer uiteenlopende evaluaties. Zo was er een project ter ondersteuning van het technisch en beroepsonderwijs in Congo dat geen overtuigende resultaten kon voorleggen. Het lesmateriaal was wel degelijk geleverd, maar werd vaak niet gebruikt of alleszins te weinig. Dat had verschillende oorzaken: de leerkrachten hadden geen opleiding gekregen (en waren dus niet in staat het lesmateriaal optimaal te gebruiken), de leerlingen en de scholen hadden niet de middelen om de andere schoolbenodigdheden te kopen (of deze waren niet verkrijgbaar op de lokale markt), de elektriciteitsvoorziening was onzeker, enz.

Uiteraard is het belangrijk dat ze zijn ingebed in een leerlogica en niet alleen dienen om verantwoording af te leggen bij de overheid.

En aan de andere kant, zijn er veel projecten die u als success stories beschouwt?

Bepaalde evaluaties zijn een bevestiging van de zeer positieve effecten voor de bevolking. Ik denk met name aan projecten voor de waterbevoorrading van dorpen in Peru. Het vooropgestelde doel van een betere waterbevoorrading werd bereikt en betekende een echte meerwaarde voor de lokale bevolking. Door de toegang tot drinkwater spaarden de dorpsbewoners niet enkel tijd uit, maar waren er ook aantoonbare effecten op vlak van gezondheid en hygiëne.

De DBE focussen we evenwel minder op de resultaten van specifieke projecten. Ons werk is vooral gericht op bredere evaluaties, met een transversale benadering, waarbij meerdere organisaties rond eenzelfde thema werken. Het thema van het jaarverslag 2017 is de steun voor de privésector. Er werd een selectie gemaakt van projecten die elk in hun categorie (steun voor coöperatieven, producentenorganisaties, lokale ondernemingen of ook lokale financiële instellingen) zeer relevant worden geacht. Uit de evaluatie kwamen resultaten naar voren zoals een verhoging van de productiviteit en van het inkomen, vooral dankzij het invoeren van nieuwe praktijken, het verwerven van nieuwe vaardigheden, de toegang tot nieuwe markten en de ermee gepaard gaande verhoging van de productie. De resultaten variëren echter sterk naar gelang van de organisatorische capaciteiten van de ondersteunde coöperatieven. In Peru, bijvoorbeeld, behaalde een koffie- en cacao-coöperatieve met aan het hoofd een vrouw met veel leidinggevend talent, die ook het vertrouwen van de leden genoot, zeer goede resultaten. De resultaten van een andere coöperatieve waren daarentegen niet zo goed omdat organisatorische problemen het vertrouwen van de leden en de partners hadden geschaad.

Hoe kiest u van jaar tot jaar de specifieke evaluatiethema’s?

De keuze wordt gemaakt na veelvuldige raadplegingen en in overleg met de beleidscel van de minister en het strategisch comité van de DGD. De koepelorganisaties van de ngo-federaties worden bij die oefening betrokken, net als de diplomatieke posten of Enabel. Er dient ook rekening te worden gehouden met bepaalde termijnen omdat een evaluatie maar zin heeft als de programma’s voldoende ver gevorderd zijn. Het komt erop aan na te gaan welke weg werd afgelegd tussen een beslissing en de uiteindelijke effecten ervan. We proberen eerder eindevaluaties uit te voeren. Ze nemen ongeveer negen maanden in beslag, te rekenen vanaf de voorbereiding tot de afronding. Het blijft hoe dan ook een momentopname!

Hoe wordt toegezien op de follow-up van de aanbevelingen ?

Als de evaluaties klaar zijn, worden de verslagen aan de minister, de administratie (DGD) en de betrokken organisaties bezorgd. De verschillende actoren formuleren een antwoord op de aanbevelingen en geven aan of ze deze aanvaarden of niet en welke verbeteracties ze plannen. Tot nu toe was er geen follow-up van de respons. Sinds dit jaar maakt de DGD werk van dit aandachtspunt. Zo voerde ze een eerste follow-up uit van de acties die werden ondernomen.

Dat gaf een redelijk positieve indruk aangezien bepaalde evaluaties goed ter harte werden genomen, maar er werden ook enkele bijkomende essentiële vaststellingen gedaan. Zo is er bijvoorbeeld wel aandacht voor de duurzaamheid van de interventies, maar er blijven grote uitdagingen bestaan, vooral in de minst ontwikkelde landen. Daar zijn de omstandigheden niet altijd gunstig om duurzame effecten te ressorteren na afloop van de interventies.

De regelgeving van 2016 betreffende de niet-gouvernementele samenwerking kende een positieve evolutie aangezien gevolg werd gegeven aan een van onze aanbevelingen, met name het accent verleggen van een verslag over de activiteiten naar een verslag over de effecten van de interventies op de bevolking.

 

Lees het jaarverslag van de DBE

Belgische Ontwikkelingssamenwerking
Terug naar dossier
Imprimer
In dezelfde categorie - Artikel 3 /26 Europeanen blijven ontwikkelings-samenwerking steunen