yellow shape
Publicatie

Towards improved use of monitoring data

In mei 2016 legde de Partos Werkgroep Monitoring en Evaluatie de laatste hand aan hun publicatie ‘Towards improved use of monitoring data’. Deze werkgroep, bestaande uit M&E managers en experts van leden van Partosstelden dat de Monitoring & Evaluatiepraktijk is verbureaucratiseerd. Data worden té weinig gebruikt om te innoveren en programma’s bij te sturen. Met name het lerend potentieel van monitoring wordt onderschat en onderbenut. In opdracht van de werkgroep is een survey uitgevoerd onder leden van Partos om uit te vinden welke factoren het gebruik van monitoring data negatief konden beïnvloeden. In de publicatie komt een aantal innovatieve practice cases naar voren.

Verantwoording nog altijd belangrijkste doel monitoring

Zoals de werkgroepleden hadden verwacht kwam uit de survey naar voren dat verantwoording afleggen aan donoren nog altijd wordt gezien als het belangrijkste doel van monitoring. Sturen en bijsturen wordt ervaren als ‘in aanzienlijke mate een doel van monitoring’. Gemiddeld genomen ervoeren respondenten het leren van evaluaties als ‘af en toe van belang’ tot ‘aanzienlijk van belang’. Bij de laatste bevinding viel op dat het leerproces meestal impliciet is zonder dat er een ‘paper trail‘ bestaat waar de geleerde lessen en kennisontwikkeling worden gedocumenteerd. De survey resulteerde in een lijst van de belangrijkste factoren die het gebruik van monitoring in de weg staan. Deze zijn onder anderen: 

  • Het ‘type informatie’. Voor veel potentiële gebruikers lijken de data onvoldoende relevant. 
  • Organisaties hebben vaak onvoldoende capaciteit om een goede analyse van de data te maken. 
  • Het eigenaarschap van de data. Organisaties en individuen die een belangrijke rol hebben bij het verzamelen van data hebben niet het gevoel dit voor zichzelf te doen maar voor anderen (lees: donoren). 
  • Vaak is er geen vertrouwen tussen donoren en de ontvanger. De behoefte is dat wanneer de monitoring data aanleiding geven om zaken op een andere manier te doen dan gepland, hier ook ruimte voor bestaat. 
  • De wijze waarop data worden gepresenteerd zijn weinig aansprekend en overzichtelijk voor de potentiële gebruikers van de data. 
  • Monitoring systemen zijn vaak niet ontworpen voor gebruik maar voor het afleggen van verantwoording. 


Praktische voorbeelden

Volgend op het onderzoek vroeg de werkgroep onderzoeker Lydeke Schakel (Deveworks) om te zoeken naar innovative practices op ieder van de meest problematische factoren. De volgende innovative practice cases zijn opgenomen in de publicatie: 

  • Oxfam Novib heeft in het ‘South Sudan Peace and Prosperity Promotion Programme‘ een benadering ontwikkeld om partners te betrekken bij het ontwikkelen van het monitoring framework, waardoor ze een gevoel van mede-eigenaarschap kweekten. Dat kwam de kwaliteit en de relevantie van de data ten goede. Daardoor werd het monitoren van data gebruikt om plannen bij te stellen. 
  • De Fair, Green and Global Alliance ontwikkelde een methode om de kwaliteit van de analyse van data te verbeteren door middel van het regelmatig organiseren van sense making sessies. 
  • ICCO heeft door het visualiseren van data de toegankelijkheid van data verbeterd, waardoor ze duidelijkere aanknopingspunten bieden om te sturen. 
  • In haar Community Managed Disaster Risk Reduction Programmes in India, heeft Cordaid een manier gevonden om het monitoring systeem zo in te richten dat communities zich voldoende vrij voelden om op basis van hun eigen data-analyse hun interventies bij te stellen of te veranderen. 
  • GPPAC heeft in het afgelopen decennium veel geëxperimenteerd met combinaties van verschillende systemen waaronder outcome mapping en outcome harvesting, om zo te komen tot een monitoringsysteem waarbij naast accountability ook interne gebruikers bediend worden. 
  • SNV Tanzania heeft outcome mapping geïntroduceerd om zo de kwaliteit van de analyse van monitoring data door lokale staf en adviseurs te verbeteren. 
  • Woord en Daad & Red een Kind hebben hun monitoringsysteem onder MFS II grondig onderworpen aan reflectie en hebben op basis daarvan methoden ontwikkeld om in de toekomst de monitoring expertise bij partners te verbeteren, ervoor te zorgen dat er voldoende financiële middelen zijn voor monitoring en het eigenaarschap van partners van monitoring data te borgen. De organisaties hebben scorecards geïntroduceerd die het verzamelen, analyseren en het presenteren van data vergemakkelijken. 

De publicatie is ontwikkeld in een van de werkgroepen van het Partos Leerplatform waar Partos innovators op het gebied van ontwikkelingssamenwerking met elkaar wil verbinden.