Meer of betere A/B-testen?

Het winnaarspercentage is een cijfer dat zeer goed wordt bijgehouden door conversie-optimalisatieteams. Het betreft het percentage A/B-testen met een significant positief effect op de conversie. Hoe belangrijk is dit percentage en moet dit omhoog, of wil je vooral méér testen?

Tekst: Ton Wesseling

Laat ik beginnen met verklappen dat het management van een organisatie geen interesse heeft in het percentage winnende testen. Zij rekenen de prestatie van CRO af op basis van de toegevoegde waarde. Wat is er eenvoudiger denk je? De potentie van de uit te voeren A/B-testen zodanig verbeteren dat je winnaarspercentage stijgt van 30% naar 60%? Of zorgen dat je in plaats van vijftig A/B-testen per jaar er honderd uitvoert? In beide gevallen kom je op hetzelfde aantal gemeten significant positieve effecten uit (30).

Statistische kanttekening

Als CRO-specialist weet je dat het resultaat van een A/B-test wordt bepaald door een statistische toets. Binnen je gemeten winnaars zitten uitslagen die in werkelijkheid geen winnaar zijn (de false positives). Hoe lager je winnaarspercentage, hoe groter het aandeel vals positieven binnen je winnaars. Je kunt dit uitrekenen (het aantal true positives, ook wel ‘echte winnaars’). Uitgaande van een normale testopstelling (significantie 90%, power 80%) krijg je bij:

• 50 A/B-testen met een winnaarspercentage van 30%: 11 echte winnaars

Het is aannemelijk dat je winnaarspercentage iets gaat dalen wanneer je extra resources inzet voor meer kwantiteit (50 extra A/B-testen):

• 100 A/B-testen met een winnaars percentage van 25%: 17 echte winnaars.

Wanneer je deze extra resources alleen inzet voor kwaliteit, dan kan dit het gevolg zijn:

• 50 A/B-testen met een winnaarspercentage van 40%: 17 echte winnaars

Je ziet dat het winnaarspercentage vergroten van 30% naar 40%, hetzelfde aantal echte winnaars geeft als het aantal testen verdubbelen met een terugloop in winnaarspercentage naar 25%. In beide situaties had je 21 winnende ideeën en konden vier daarvan via de A/B-test niet gevonden worden (false negatives).

Kwaliteit of kwantiteit?

Begint het al haalbaarder te klinken om toch vooral aan de kwaliteit te gaan werken? In de uitgangssituatie van vijftig A/B-testen en 30% winnaars had je veertien winnende ideeën. Om tot 21 winnende ideeën te komen, heb je een stijging van 50% in winnende ideeën nodig. Is dat haalbaarder binnen de 50 A/B-testen door meer vooronderzoek of haalbaarder met een verdubbeling van het aantal A/B-testen?

Conclusie

Een gedegen framework, op basis van hypotheseonderzoek en resultaten uit eerdere testen, heeft een positief effect op je percentage winnende ideeën, maar zorg wel dat dit de kwantiteit niet in de weg staat. Bij de meeste bedrijven waar ik binnenkijk moet nog worden opgeschaald in de aantallen voordat kwaliteit echt een probleem wordt. Zeker als je bedenkt dat elke extra test niet altijd een winnaar is, maar wel een inzicht. Zorg er in elk geval voor dat je het aantal echte winnaars per periode blijft bijhouden, dat is veel belangrijker dat het winnaarspercentage. Als de ROI van deze echte winnaars hoog genoeg is, kun je verder gaan opschalen in resources, die je dan kunt inzetten in de voor jou juiste balans van meer A/B-testkwaliteit en -kwantiteit.

Webanalisten
Dit artikel is geschreven door Ton Wesseling, oprichter van Online Dialogue, de Experimentation Culture Awards en Conversion Hotel voor het analyse- en optimalisatieplatform Webanalisten.nl. Het volledige artikel is hier te lezen.