Helft A/B-testen klopt van geen kant

Iedereen kan tegenwoordig heel eenvoudig een A/B-test starten op zijn website. Met de groei in gebruikers is de kwaliteit echter gigantisch gedaald. Niet alleen ten aanzien van wát er wordt getest, maar - nog veel zorgwekkender - vooral met betrekking tot hóe er wordt getest. Deze fouten zijn soms zo desastreus dat er regelmatig ten onrechte een bepaalde ‘winnaar’ wordt aangewezen binnen de A/B-test. Wat zijn de vijf meest belangrijkste spelregels op dit gebied?

Tekst: Ton Wesseling

1. Vaste testperiode
U bepaalt vooraf wanneer u de test start en wanneer deze stopt. Denk hierbij in hele weken, om dag- en tijdeffecten uit te sluiten. Als uw test een aantal dagen voor het einde al een significant resultaat geeft, stop de test dan nog niet. U wilt toeval zo veel mogelijk uitsluiten. Het is daarom ook niet goed om een test te laten doorlopen wanneer deze nog geen significant resultaat geeft. U heeft dan simpelweg geen verbetering weten te bereiken.

2. Vooraf populatie uitrekenen
Omdat u met een vaste tijdsperiode wilt werken (denk aan een tot drie weken), weet u ook hoeveel bezoek en conversies (hetgeen u wilt verbeteren) u nu heeft. Ga er maar van uit dat u minimaal honderd conversies per variant in de test wilt halen tijdens de testperiode. Hiermee kunt u bepalen hoeveel variaties u hoelang gaat testen.

3. Zorg voor ‘schoon’ bezoek
Sluit uw eigen bezoek uit van (de analyse van) testen. Zorg er ook voor dat alleen bezoekers die de intentie hebben om te doen waarvoor u optimaliseert in de testpopulatie zitten. Bezoekers die met een andere taak de website bezoeken, wilt u uitsluiten. Houd hier rekening mee bij het berekenen van de populatie en de conversies.

4. Vooraf segmenten definiëren
Bepaal vooraf aan de test welke segmenten u gaat analyseren en neem dit ook weer mee in de berekening van hoeveel variaties u kunt testen in hoeveel tijd. Achteraf speuren naar resultaten in segmenten zorgt vaak voor het kijken naar te kleine populaties en denken dat toeval de waarheid is.

5. Niet significant = niet significant
Niet elke test levert een statisch significant resultaat op. U kunt altijd zelf bepalen waar de grens ligt. 95 procent is wetenschappelijk gebruikelijk, als u zich aan alle regels houdt is 90 procent voor bedrijven vaak ook acceptabel. Als een testresultaat niet boven uw vaste significante grens uitkomt, zegt het dat variant B niet beter is dan variant A. Hier is dan geen statistisch bewijs voor. Besluit dan niet om alsnog de nieuwe variant live te plaatsen; het is geen verbetering, hoeveel mooier het er ook uitziet.

Leveren uw testen te vaak geen winnaar op? Dan wordt het tijd op met andere hypotheses te werken.

Dit artikel verscheen eerder in Twinkle 10-2013.