‘Resultaten uit het verleden bieden geen garantie voor de toekomst’. Maar geven wel handvaten om te bewijzen of iets werkt, zodat er evidence-based beleid gemaakt kan worden. In deze blog legt Michiel Slag uit hoe het woord risico daarin een essentiële rol in speelt en hoe resultaatfinanciering kan bijdragen aan het ontwikkelen van evidence-based interventies.
What works?
In de jaren ’70 zijn er een aantal belangrijke publicaties in het veiligheidsdomein geweest. Deze concludeerden dat vrijwel geen poging om delinquenten te rehabiliteren gelukt was. Geen enkele interventie was succesvol in het omlaag brengen van recidive. Hun conclusie: Nothing works. Jarenlang werd dit als een gegeven beschouwd, totdat er onderzoekers – dankzij nieuwe onderzoeksmethodes – tot de conclusie kwamen dat er wel degelijk succesvolle aanpakken waren. Dat was het begin van de What works-aanpak: baseer de interventies op grond van wetenschappelijk onderzoek van de bovenste plank, zodat er vooraf duidelijkheid is over de verwachte effecten van de interventie. Een mooi uitgangspunt, maar er zijn genoeg voorbeelden waar dit niet het geval is.
€234 miljoen verkeerd besteed
Zo werd in Nederland enkele jaren geleden – nog voor het lerarentekort – een flinke subsidie gegeven voor scholen die een relatief hoog percentage kinderen in de klas hadden met ouders met een migratieachtergrond of een laag opleidingsniveau. Deze groep kinderen presteerde namelijk slechter dan kinderen zonder ouders met een migratieachtergrond of kinderen met hoogopgeleide ouders. Het beschikbare budget voor deze scholen werd te klein geacht om dit gat te dichten en de subsidie werd gezien als de juiste interventie. De school kon namelijk zelf beslissen wat ze met de middelen wilden doen; bijvoorbeeld extra salaris om betere leraren aan te trekken of juist het aantrekken van extra leraren om de werkdruk te verlagen. Wat bleek na een grondige evaluatie: er was geen verbetering te zien bij de doelgroep. Wel was er €234 miljoen besteed.[1]
Doeltreffendheid is key
Dit doet de vraag rijzen of er vooraf voldoende is nagedacht over de effectiviteit van de interventie. Hoe zeker was men ervan dat subsidie zou leiden tot een verbetering van de ontwikkeling van de kinderen? Achteraf blijkt in ieder geval dat de doeltreffendheid van deze interventie nihil is: de beloofde resultaten zijn niet behaald. Dat betekent dat de middelen dus ook niet doelmatig zijn besteed. Waarschijnlijk hadden andere maatregelen meer resultaten behaald. Deze gevolgen hadden wellicht voorkomen kunnen worden door het opstellen van een goede ‘theory of change’: het onderzoeken van de context en de gemaakte aannames en het beoordelen van het reeds beschikbare bewijs. Deze geven een inschatting over het risico dat een interventie de vooraf gestelde doelen niet behaalt. Als er bijvoorbeeld weinig bewijs is of een interventie werkt, betekent dit dat er een hoger risico is dat de vooraf gestelde doelen niet worden behaald. Als een interventie middels een wetenschappelijk bewezen methode effectief is gebleken, dan is het risico lager.
Does it work?
Zeker wanneer het gaat om grote interventies en bedragen zoals in dit voorbeeld, is het belangrijk om evidence-based te werk te gaan. Hoe zeker ben je dat het leveren van bepaalde input de verwachte resultaten behaalt? Does it work?
Als je niet zeker weet of dat zo is, loop je het risico dat de interventie niet effectief is. Waardoor er geen resultaten voor de doelgroep worden behaald. Bovendien leidt dat er ook toe dat de middelen niet doelmatig worden besteed: ze worden besteed aan een interventie waar geen maatschappelijke meerwaarde mee wordt gecreëerd.
Resultaatfinanciering
Op dat soort momenten biedt resultaatfinanciering, zoals een Social Impact Bond, uitkomst: het risico dat gelopen wordt, kun je afwentelen op een andere partij door alleen uit te betalen voor de geleverde resultaten. De Social Impact Bond werkt daarmee ook disciplinerend. Men moet aan maatschappelijk investeerders uitleggen waarom er grote kansen zijn dat de interventie gaat slagen. Dit kan alleen als er heldere doelen zijn geformuleerd en een goede risico-inschatting is gemaakt over het slagen van de interventie. Als er weinig risico is, omdat er veel vertrouwen is dat de interventie leidt tot de creatie van maatschappelijke meerwaarde, hoeft er geen risico te worden afgewenteld. Dan volstaan traditionele manieren van financieren.
It works
Door het koppelen van de effectiviteit van de interventie aan de financieringsmethodiek weet je zeker dat je alleen betaalt voor geleverde resultaten. Door deze resultaten vervolgens op een betrouwbare manier te meten – vast onderdeel van resultaatfinanciering – draag je weer bij aan de ontwikkeling van evidence-based policy. Zo wordt het terrein van What works continu aangevuld, uitgebreid en verbeterd. Dat maakt de cirkel rond: it works. Zo kunnen we in de toekomst altijd vooraf inschatten of iets werkt. En bereiken we dus betere uitkomsten voor onze maatschappij.
Benieuwd naar het definiëren van resultaten en de ins en outs van resultaatfinanciering? Bekijk de Outcomes Academy!
[1] Leuven, E., Lindahl, M., Oosterbeek, H. and Webbink, D., 2007. The effect of extra funding for disadvantaged pupils on achievement. The Review of Economics and Statistics, 89(4), pp.721-736.
