Zes veelgemaakte fouten bij A/B-test analyses

Doordat de meeste A/B-test software zelf aangeeft welke variant de winnaar is, lijkt het haast onmogelijk om fouten te maken in de analyse van de resultaten. Maar schijn bedriegt. De rol van goede webanalyse blijft hierbij cruciaal. Lees hier zes veelgemaakte fouten bij A/B-test analyses.

 Tekst: Ton Wesseling

1. Onzuivere testpopulatie
De grootste valkuil is het feit dat een random verdeling van bezoekers over de testvariaties er niet voor zorgt dat deze groepen ook evenredig zijn verdeeld. Specifieke subgroepen zorgen voor onterechte conversie-uitschieters of -dalingen in testvarianten.

De verzamelde dataset moet worden gezuiverd van testdeelnemers met eventuele browserproblemen en (onterechte) uitschieters in hoogte of aantallen conversies van één bezoeker. Ook afwijkend koopgedrag van vaste ‘fans’ of aankopen door affiliateprogramma’s, die je belonen met waardepunten zodra je kunt aantonen dat je bij een deelnemende partij een product of dienst hebt afgenomen, kunnen een vertroebeld beeld van de resultaten geven.

2. Eindconversie
Omdat je bezig bent met gedrag - en het beter inspelen hierop - is het niet de opzet om alleen te kijken naar de eindconversie. A/B-test learnings dienen te gaan over de pogingen om een betere dialoog te voeren. Een A/B-test zonder significante conversiestijging kan op de lange termijn zelfs waardevoller blijken dan de A/B-test met significante conversiestijging.

3. Te vroeg stoppen
Een valkuil bij A/B-testen: stoppen zodra er significante verschillen zijn. Anderzijds heeft het geen zin te blijven doortesten totdat je verschil ziet. Bepaal vooraf de duur van de testperiode om te voorkomen dat je eigenlijk een lagere significantie behaald.

4. Vergeten te meten
Vergeet ook niet om de onderlinge varianten ten opzichte van elkaar te vergelijken. Gebrek aan significante verschillen van de testvariaties tegenover de originele setting wil niet zeggen dat er geen significante learnings zijn in de verschillen tussen de testvarianten onderling.

5. Cross browser-effecten
In de praktijk switchen consumenten weleens van browser (bijvoorbeeld van de pc op kantoor naar de pc thuis). Dit effect komt echter zo vaak voor dat dit type (herhaal)bezoeker evenredig wordt verdeeld over de verschillende testvariaties. Onthoud dan wel dat bezoekers waarschijnlijk twee of meer variaties hebben gezien in de dialoog van kennismaking tot conversie. Analyseer de effecten van de A/B-test daarom op de unieke bezoekers én op de losse sessies van deze bezoekers.

6. Uitgestelde conversies
Sommige bezoekers die al vlak voor de start van de A/B-test met een dialoog bezig waren, zullen tijdens de A/B-test de originele versie te zien krijgen. Zij zullen anders reageren dan de bezoekers die na de startdatum een andere variant te zien krijgen. En bedenk: ook na afloop van de test vervolgen bezoekers de dialoog met gevolgen voor je resultaten.

____________________

Webanalisten.nl
Het origineel van dit artikel is geschreven door Ton Wesseling (senior conversion manager bij Online Dialogue) namens het conversieoptimalisatieplatform Webanalisten.nl. Het volledige artikel kunt u hier lezen.
____________________

Dit artikel verscheen eerder in Twinkle 8 -2011.