Zo onderbouw je het resultaat van je A/B-testen

Hoe ziet de na-analyse van je A/B-testen eruit? Hoe onderbouw je het resultaat? In teststatistiek zijn hiervoor twee belangrijke methodes; de frequentistische en de Bayesiaanse teststatistiek. Hieronder staan beide statistische methodes uitgelicht en worden de voor- en nadelen op een rijtje gezet.

Voordat je aan de slag gaat met de resultaten heb je al een aantal stappen gezet. De A/B-test zelf, de controle of er genoeg conversies zijn in beide groepen en of de resultaten bruikbaar zijn. Wanneer je dit allemaal gedaan hebt, is het tijd om te bepalen of de variatie (B-groep) beter presteert dan de controle (A-groep).

Frequentistische analyse

Met deze methode bepaal je met een experiment of je variatie significant beter presteert dan je controle. De nulhypothese is dat de groepen gelijk zijn. Dit probeer je te verwerpen door aan te tonen dat de experimentele hypothese waar is (de variatie is beter). In statistiek wordt hierbij vaak een standaard p-waarde gebruikt van 5 procent. Is de p-waarde lager dan 5 procent, dan is het een significant verschil. Zijn de resultaten niet significant beter? Of zelfs slechter? Dan is er geen bewijs dat de variant beter is en behoud je de nulhypothese.

Vind je een significant positief verschil? Dan kun je er vrij zeker van zijn dat je de juiste beslissing neemt om de variatie te implementeren onder de door jou gestelde voorwaarden. Alleen is er weinig ruimte voor discussie en laat je hierdoor mogelijk grote kansen liggen. In principe geeft de frequentistische methode je een ja of een nee, terwijl de resultaten misschien een stuk genuanceerder zijn.

Bayesiaanse analyse

De Bayesiaanse statistiek zegt: er is een verschil en ik wil weten wat het verschil is. Het is niet het accepteren of verwerpen van de nulhypothese, zoals bij frequentistische statistiek, maar je bepaalt de waarschijnlijkheid dat er een verschil is. De kans dat de variatie verschilt van de controle wordt aangeven in een percentage. Bijvoorbeeld: de kans dat de variatie het verbeterde conversiepercentage haalt, is 80 procent.

Welke kies je?

Ondanks het duidelijke antwoord van een frequentistische test vormen de benodigde statistische kennis, de harde eisen en de daardoor gemiste kansen een groot nadeel. Daarom geef ik persoonlijk de voorkeur aan de Bayesiaanse statistiek. Deze levert vrijwel dezelfde uitkomst op, maar is beter behapbaar voor mensen zonder de nodige statistische kennis. Het vertelt je de kans dat er iets kan gebeuren in plaats van het accepteren of verwerpen van de nulhypothese.

Bedenk goed dat bij het gemeten resultaat niet het daadwerkelijke resultaat is. Daarvoor is veel meer data en onderzoek nodig. Het doel is ook niet om de exacte verbetering te achterhalen, belangrijker is de vraag of de kans op meer conversies groot genoeg is. Bij een kansberekening van boven de 85 procent, bij de Bayesiaanse methode, spreek je van een sterke indicatie dat de variatie beter is en dus is het aan te raden deze te implementeren.

Blijf altijd testen

Na aanpassing verwacht je natuurlijk verbetering. Stop je nu met testen? Natuurlijk niet, je wilt altijd blijven optimaliseren. Tijd dus om na te denken over de volgende optimalisatie.

Webanalisten
Dit artikel is geschreven door Simon Groters, content & online marketeer bij Online Dialogue, voor het online analyse en optimalisatieplatform Webanalisten.nl. Het volledige artikel is te lezen op https://anali.st/analyse.