In een eerder artikel werd het onderscheid uitgelegd tussen correlatie en causaliteit. Terwijl correlaties aantonen dat twee zaken slechts met elkaar samenhangen, geeft een causaal verband aan dat het ene het ander beïnvloedt. Het vinden van een causaal verband vormt de heilige graal in veel sociale wetenschappen, zoals bijvoorbeeld de economie. Dat is logisch: door te onderscheiden welke verbanden simpelweg een correlatie betreffen, en welke echt oorzakelijk zijn, kunnen onderzoekers de daadwerkelijke effecten van bijvoorbeeld overheidsinterventies bepalen.
Ruwweg kunnen er, naast toeval, twee redenen genoemd worden waarom een correlatie geen causaal verband is. Ten eerste kan er sprake zijn van een omgekeerd oorzakelijk verband, in jargon ook wel reverse causality genoemd. Zo kan het zijn dat roken ervoor zorgt dat je depressief wordt, maar kan het ook zijn dat je gaat roken omdat je depressief bent. Ten tweede kan het zijn dat er in de analyse een variabele over het hoofd worden gezien die beide correlerende variabelen beïnvloedt, in welk geval econometristen het hebben over omitted variable bias. Zo wordt het positieve verband tussen de verkoop van ijsjes en het aantal verdrinkingsdoden hoogstwaarschijnlijk veroorzaakt door het goede weer dat beiden beïnvloedt.
Enter Experimenten
Nu zijn er verschillende technieken om een oorzakelijk verband vast te stellen. Naast de ingewikkeldere econometrische technieken die hier in slagen, bestaat er een zeer intuïtieve en relatief simpele manier, zoals ook al aangestipt in het bovengenoemde artikel: een experiment.
Een experiment stelt de onderzoeker in staat om zelf de omgeving aan te passen waarin de deelnemers keuzes maken. Wanneer de deelnemers bovendien willekeurig in de verschillende omgevingen worden gesorteerd, zorgt dit ervoor dat er twee groepen ontstaan die gemiddeld genomen vergelijkbaar zijn. Verschillen in gedrag tussen de groepen kunnen daardoor toegeschreven worden aan de verschillen in omgeving.
De gouden standaard: veldexperimenten
Er bestaan verschillende soorten experimenten. Het meest interessant voor beleidsmakers en data scientists is waarschijnlijk het veldexperiment. In een veldexperiment wordt het gedrag van de deelnemers bestudeerd in een natuurlijke omgeving, zonder dat de deelnemers weten dat ze deel uit maken van een experiment. Een simpel voorbeeld hiervan zijn de A/B-testen die bedrijven op Facebook uitvoeren: sommige Facebook-gebruikers zien de ene advertentie, terwijl andere gebruikers een andere advertentie zien. Wanneer het willekeurig bepaald is welke gebruiker welke advertentie te zien krijgt, kunnen verschillen in click-through rates en andere uitkomsten toegeschreven worden aan de inhoud van de advertenties.
Veldexperimenten zijn succesvol toegepast op verschillende gebieden. In 2019 kregen Esther Duflo, Abhijit Banerjee en Michael Kremer de Nobelprijs voor de economie voor hun inzichten op het gebied van de ontwikkelingseconomie, verkregen met behulp van veldexperimenten in ontwikkelingslanden. In Kenia kreeg een willekeurige groep boeren bijvoorbeeld een kleine korting op kunstmest vlak na de oogst (wanneer ze relatief veel geld hebben), wat er toe leidde dat ze productiever waren dan boeren die geen korting kregen én boeren die een grotere korting kregen op een ander tijdstip (wanneer ze relatief weinig middelen hadden om kunstmest aan te schaffen) (Duflo et al., 2011).
Het begrip nudges, waarvoor Richard Thaler in 2017 de Nobelprijs voor de economie kreeg, is ook nauw verbonden met veldexperimenten, aangezien deze aanpassingen in de keuzeomgeving doorgaans eerst worden getest met een experiment. Op het gebied van onderwijs (Fryer, 2014), sparen en lenen (Bertrand et al., 2010) en liefdadigheid (Andreoni, 2017) hebben veldexperimenten eveneens interessante inzichten opgeleverd.
Weerstand
Experimenten kunnen dus belangrijke inzichten opleveren die bovendien relatief goedkoop verkregen kunnen worden. Waarom zou je een klein kapitaal uitgeven aan een nieuwe marketingstrategie, zonder dat de effectiviteit ervan eerst op kleine schaal geëvalueerd is met een experiment? Toch kan ‘experimenteren met mensen’ op de nodige weerstand stuiten. Is het bijvoorbeeld onethisch om een groep mensen te selecteren als controlegroep en hier dus niets mee te doen? Toen een gedragseconoom de gemeente Amsterdam adviseerde om hun reïntegratieproject gericht op werklozen eerst te testen met behulp van een experiment, inclusief controlegroep van werklozen die nergens aan mee zouden doen, reageerde de gemeente dat “het project bedoeld is om werklozen te helpen, niet om wetenschappers van de straat te houden.” Ergens is deze instinctieve reactie begrijpelijk, maar tegelijkertijd merken Kooreman en Potters (2011) op dat het ook onethisch is om een nieuw beleid zonder evaluatie door te voeren en daarbij de gehele bevolking als proefkonijn te gebruiken.
Hordes
Een experiment opzetten gaat dus gepaard met het moeten nemen van een aantal hordes. Naast de bovengenoemde weerstand zijn er ook nog de potentiële problemen die te maken hebben met uitval van deelnemers (attrition) en vertroebeling door interactie tussen de interventie- en controlegroep (spillover effects). Het zou daarom kunnen dat je een aantal compromissen moet sluiten. Het zou bijvoorbeeld kunnen dat een organisatie niet aan willekeurige toewijzing of een inactieve controlegroep wil. Men kan dan eisen dat deelnemers zelf kunnen kiezen of ze deelnemen aan een interventie, of dat de controlegroep een basale hoeveelheid aan informatie ontvangt. Vanuit wetenschappelijk oogpunt erodeert dit de kwaliteit van het experiment, maar het kan alsnog waardevolle inzichten opleveren zolang je bijvoorbeeld kunt controleren dat er geen substantiële verschillen zitten tussen de mensen die zelf voor de interventie kiezen en de mensen die dat niet doen. In dit geval is het uiteraard ook cruciaal om deze kanttekening te benoemen.
Een experiment is dus niet zozeer een vorm van data-analyse, maar eerder een manier van data verzamelen. Als data-analist is dit dus niet direct je verantwoordelijkheid, maar uiteindelijk verbetert en vergemakkelijkt een experiment je werk. Daarom zou je, wanneer je je draai hebt gevonden binnen de organisatie, de mogelijkheid voor een experiment aankaarten binnen de organisatie. Op deze manier kan de organisatie leren wat écht werkt.