Quasi-experimenten

Digitale experimenten zijn er in vele soorten en maten. De meest bekende is natuurlijk de A/B-test. Daarnaast heb je onder meer een quasi-experiment: een handig hulpmiddel in situaties waarin echte experimenten niet kunnen worden gebruikt. Wat is een quasi-experiment precies, wanneer en hoe kun je het inzetten en wat zijn de voordelen?

Bij de A/B-test, een gerandomiseerd experiment, toon je twee verschillende varianten van je pagina aan je bezoekers: de ene helft krijgt de A-variant te zien en de andere helft de B-variant. Aan de hand van de test ga je kijken welke variant beter presteert.

Een quasi-experiment is een soort testontwerp dat probeert een oorzaak-gevolgrelatie vast te stellen. Het belangrijkste verschil met een ‘echt’ experiment is dat de groepen niet willekeurig zijn ingedeeld. In plaats daarvan worden proefpersonen toegewezen aan groepen op basis van niet-willekeurige criteria. Bovendien heb je bij quasi-experimenten vaak geen controle over het proces, maar bestudeer je reeds bestaande groepen die verschillende behandelingen hebben ondergaan.

Wanneer kies je voor een quasi-experiment?

Ethisch

Soms kan het onethisch zijn om een willekeurige behandeling te geven of te weigeren, dus dan is een echt experiment niet haalbaar. Zo is het niet ethisch om de prijs van je product te A/B-testen, waarbij de helft van je klanten meer betaalt omdat ze toevallig in de variantgroep zitten. Een quasi-experiment kan uitkomst bieden. Hierbij laat je bijvoorbeeld iedereen meer betalen en vergelijk je de periode voorafgaand aan de prijsverandering met de periode erna. Of je verdeelt de groepen op basis van geografie, waarbij je land A met land B vergelijkt.

Praktisch

Soms heb je onvoldoende verkeer/proefpersonen om een echt experiment uit te voeren. In zo’n geval kun je met quasi-experimenten de vraag bestuderen door gebruik te maken van gegevens die eerder zijn behaald of die zijn verzameld door anderen. Als het niet mogelijk is om een verandering te testen of je groepen random te verdelen, dan kun je een quasi-experiment doen door bijvoorbeeld bepaalde marketingactiviteiten alleen in een bepaalde regio in te zetten.

Voor- en nadelen

Quasi-experimenten hebben een hogere betrouwbaarheid dan niet-experimentele soorten onderzoek, omdat je beter kunt controleren welk effect jouw interventie heeft. Ze zijn wel minder betrouwbaar dan A/B-testen. Zonder randomisatie kan het moeilijk zijn om te verifiëren dat andere variabelen geen invloed hebben op je resultaten. Daarom is het aan te raden om, waar mogelijk, te A/B-testen.

Aan de slag

In de praktijk kun je verschillende methodes gebruiken om zo dicht mogelijk bij een A/B-testsituatie te komen met je quasi-experiment. De meest populaire methode is differences-in-differences. Daarbij bestudeer je twee tijdsperioden: pre- en post-interventie. Je gebruikt de pre-interventieperiode (controle) om de baseline voor je data te genereren, en de post-interventieperiode (variant) om de verandering te bestuderen. Deze methode is een eenvoudige, maar zeer krachtige manier om te controleren op verschillen tussen variant- en controlegroepen. Succes met experimenteren!

Webanalisten
Dit artikel is geschreven door Simon Groters, marketing & content manager bij Online Dialogue, voor het online analyse- en optimalisatieplatform Webanalisten.nl. Het volledige artikel is hier te lezen.