Datavalkuilen bij A/B-testen

We zien ze allemaal voorbijkomen, op het werk, op LinkedIn, op congressen: voorbeelden van A/B-testen met 10 procent, 20 procent en 25 procent uplift. Leuk om te zien waar andere bedrijven mee bezig zijn en goede inspiratie om je eigen optimalisatieprogramma mee te verrijken. Maar er zijn datavalkuilen die je bij deze voorbeelden kunnen misleiden. Stel daarom altijd de juiste vragen.

Tekst: Anouk Erens

1. Wat is de belangrijkste metric?

Een van de eerste dingen die ik mij afvraag bij dergelijke A/B-testvoorbeelden is welke metric er gebruikt is om het resultaat op af te rekenen. Het liefst reken je een A/B-test af op basis van de daadwerkelijke omzet die gegenereerd wordt. Maar dit is niet altijd mogelijk door het aantal bezoekers. Vertel daarom altijd welke metric gekozen is. Een uplift van 15 procent in doorkliks is namelijk heel anders dan dezelfde uplift in orders en omzet.

2. Zijn de aantallen hoog genoeg?

We zien nog te vaak dat geëxperimenteerd wordt op pagina’s waar eigenlijk veel te weinig verkeer is om betrouwbare A/B-testen op uit te voeren. Vraag daarom, waar mogelijk, altijd naar de absolute cijfers. Een verhoging van 25 naar 30 orders is natuurlijk heel wat anders dan een verhoging van 600 naar 720 orders. Toch zijn beide een uplift van 20 procent. Om dezelfde reden is het belangrijk om vooraf te kijken hoeveel bezoekers en conversies je nodig hebt om überhaupt te kunnen testen op een bepaalde pagina en of het effect dat je ziet ook daadwerkelijk statistisch significant is, en geen toeval. Gebruik hiervoor een A/B-test significantiecalculator zoals Abtestguide.com.

3. Wat is de kwaliteit van de technische implementatie?

Of je nu al een tijdje bezig bent met A/B-testen of pas net begint, het is altijd belangrijk om de implementatie van je testtool goed te controleren. Vertrouw niet blind op de aantallen die je A/B-testtool laat zien, maar check regelmatig je data, ook in je web analytics tool, om te zien of deze hetzelfde zijn. Omdat je de rest van je webanalyses ook in deze tool doet, is het fijn om van één waarheid uit te gaan.

4. Wat heeft je experiment in euro’s opgeleverd?

Tot slot wil je controleren wat je experiment in euro’s heeft opgeleverd, maar ook wat de kosten zijn geweest. Stel, de uplift levert je in zes maanden 20.000 euro op, maar de development en bijkomende kosten zijn 17.500 euro, is het dan wel de moeite waard om je experiment te laten bouwen?

Webanalisten.nl
Dit artikel is geschreven door Anouk Erens, senior data insights expert bij Online Dialogue, voor het online analyse- en optimalisatieplatform Webanalisten.nl. Het complete artikel is hier te lezen.