Wanneer A/B-testen jouw groei vertraagt

‘We hebben echt veel geld geïnvesteerd in een experimenteercultuur. Mensen, tools en trainingen, om op basis van data, exploratie en validatie te groeien met ons bedrijf. Het lijkt echter alsof we sneller groeiden toen we nog gewoon beslissingen namen op basis van ervaring en onderbuikgevoel.’ Herken je dit?

Tekst: Ton Wesseling

Statistiek

Het uitvoeren van een A/B-test is een wetenschappelijke studie. Je zoekt naar significante effecten in klantgedrag en bedrijfsresultaat. Dit vergt een solide aanpak, met duidelijke afspraken op basis van betrouwbare data. Veel analysesoftware werkt met sampling – ideaal om rapportages sneller te laden en trends te zien, maar zeer nadelig voor het betrouwbaar analyseren van A/B-testresultaten. Controleer je data ook op Sample Ratio Mismatch – een scheve verdeling van gebruikers in (segmenten) van het experiment kan immers tot verkeerde conclusies leiden. Beheers ook je False Discovery Rate, zodat je begrijpt hoeveel waarheid er in je resultaten zit. Je hebt een rigide structuur nodig om te voorkomen dat je stuurt op resultaten die je bedrijfsresultaat schaden.

Structuur

Product-, marketing- en engineeringteams, of combinaties hiervan, hebben hun eigen tempo van werk aanpakken en uitvoeren. Het is verleidelijk om een losstaand conversieteam te formeren dat alle experimenten uitvoert. Zij zullen zeker UX-optimalisaties kunnen doorvoeren, maar ze zitten de andere teams – de eigenaren van de (digitale) onderdelen van het bedrijf – in de weg en hebben zelf niet de inhoudelijke expertise om te focussen op bredere bedrijfsgroei. De logische structuur is om het experimenteer- of CRO-team als ondersteunende afdeling de inhoudelijke teams te leren experimenteren. Vermijd dan de valkuil dat deze inhoudelijke teams dit als extra werk ervaren, dat ze naast hun bestaande werk ook nog moeten experimenteren. Zorg dat ze hun normale werk kunnen doen, maar dat wat ze lanceren als A/B-test wordt neergezet en dat ze leren om hun werk beter te prioriteren op basis van data.

Focus

Het is heel verleidelijk om alles te gaan optimaliseren, om alles te gaan A/B testen. Doe dit niet. Enerzijds wil je de doelen van de teams koppelen aan de focus van het werk, anderzijds wil je een gestructureerde onderzoekaanpak introduceren waarin beloftevolle aanpassingen stelselmatig worden getoetst. Werk met een hypotheseraamwerk waarin wordt geprioriteerd op kans van waarheid en effect, en toets dit op locaties waar effecten ook zichtbaar kunnen worden. Monitor bezoekgedrag, wensen, markttrends, concurrenten en alternatieve oplossingen. Begrijp waar je impact kunt maken door continu klantonderzoek en gebruik dit om te leren, te herhalen en daadwerkelijk te groeien met een experimenteeraanpak. Een rigide aanpak in de juiste structuur en met de juiste focus.

Webanalisten.nl
Dit artikel is geschreven door Ton Wesseling, evidence-based growth specialist, voor analyse- en optimalisatieplatform Webanalisten.nl. Het originele artikel lees je hier.