Onder andere hoogleraar Trommel (Vrije Universiteit) wijst op het gevaar van cherry picking. Dit is de praktijk waarbij deelnemers worden geselecteerd waar eenvoudiger succes mee te behalen valt. De meest lastige gevallen worden niet geselecteerd.
Selectiecheck
Bij het meten van succes van sociale interventies (niet alleen bij Social Impact Bonds) is dit inderdaad een wezenlijk gevaar. Daarom moet elke SIB op zijn meritus worden gecheckt. Hierbij is het van belang om op twee zaken te letten. Ten eerste: wie selecteert de deelnemers? Als dit de uitvoerder of de financierder is, dan moeten er alarmbellen gaan rinkelen. Als de overheid dit doet, is er minder reden tot zorg. De overheid heeft namelijk geen prikkel om de makkelijkste deelnemers te selecteren, al kan het hier ook gebeuren doordat gemotiveerde deelnemers worden doorverwezen.
Meetmethode
Ten tweede: hoe wordt er gemeten? Een zuivere vorm is een randomnised control trial, waarbij er een controlegroep wordt ingericht die een exacte afspiegeling is van de interventiegroep. Een alternatief is een gepersonaliseerde inschatting op basis van historische data. In het geval van arbeidstoeleiding maak je dan bijvoorbeeld voor vluchtelingen een inschatting hoe lang het duurt voor iemand aan het werk gaat op basis van het land van herkomst, leeftijd en opleidingsniveau. Zo voorkom je dat een hoogopgeleide jonge Syrische vluchteling wordt vergeleken met een oudere laagopgeleide vluchteling uit Eritrea. De gemiddeldes zeggen namelijk weinig over individuele kansen.
Door een goede persoonlijke inschatting te maken, wordt cherry picking deels voorkomen. Bovendien kan het juist lonen om deelnemers te selecteren met een grotere afstand tot de arbeidsmarkt, omdat hier meer (maatschappelijke) winst mee valt te behalen. Of cherry picking optreedt ligt aan het ontwerp van de SIB.
Deze uitspraak is dus neutraal.