Valkuil: omzet verhogen met A/B-testen

Als je zoekt naar informatie over A/B-testen op internet, vind je al snel veel artikelen. Ze gaan nagenoeg allemaal over het verhogen van je omzet met A/B-testen. De conclusie zal snel zijn dat, als je meer transacties wilt in je webwinkel, A/B-testen daarvoor zorgt. Dit is echter een gevaarlijk uitgangspunt dat in de weg kan gaan zitten van de groei naar een data- en experimentgedreven organisatie.

Tekst: Ton Wesseling

Met een A/B-test vergelijk je twee verschillende varianten van jouw customer experience. Door statistiek toe te passen, toets je of de nieuwe variant daadwerkelijk tot een significant gedragseffect onder jouw doelgroep leidt. Bij het laten groeien van je webshop zul je vooral op zoek zijn naar een positief significant effect op het aantal kopende bezoekers. A/B-testen is dus een methodiek om te toetsen of je iets wel of niet moet gaan aanbieden aan (potentiële) klanten. Je verlaagt het risico bij het nemen van beslissingen door ze vooraf te valideren met een A/B-test. Natuurlijk geldt hier ‘garbage in, garbage out’. De A/B-test leidt immers niet tot meer kopende bezoekers, het is de variant op de customer experience die dit doet.

Te weinig positieve resultaten

Het te weinig vinden van significant positieve resultaten in je A/B-testen heeft dus niets te maken met het A/B-testen zelf. Los van het eventueel werken met kleine populaties, komt dit doordat het team niet iets heeft ontworpen dat tot een significant gedragseffect leidt. Dan moet je de aanpak van het team onder de loep nemen en verbeteren – met de kanttekening dat het heel normaal is dat een deel van de ideeën niet succesvol is.

Het niet vinden van positieve resultaten kan ervoor zorgen dat A/B-testen als methodiek niet verder wordt opgeschaald of zelfs minder vaak gebruikt wordt in een organisatie. De resultaten blijven immers achter bij de verwachting van meer omzet.

Geen negatieve effecten

A/B-testen is de ideale methode om te valideren of aanpassingen in de customer experience niet een negatief effect hebben op het aantal kopende bezoekers. Bij digitale aanpassingen wordt er vanuit de techniek wel vaak getest of security en performance niet negatief worden beïnvloed, waarom wordt dit dan ook niet met het effect op omzet gedaan? Je wilt elke aanpassing valideren met aan A/B-test in plaats van alleen maar A/B-testen uitvoeren met als doel om meer omzet te halen. Het verlaagt de risico’s van alles wat je lanceert. De focus op het vinden van A/B-test ‘winnaars’ en meer omzet door A/B-testen is een onjuiste. Je wilt meten hoeveel wijzigingen er gemaakt zijn in de customer experience, ondersteund door een A/B-test die aantoont dat het geen significant negatief effect had op de omzet. Dit moet naar 100%.

Vrijheid om te experimenteren

Het is niet zo dat je hiermee wilt stimuleren dat de teams geen risico meer nemen in wat ze willen lanceren, dat verlaagt de kans op het vinden van doorbraken in kennis over gedrag onder jouw doelgroep. Geef de teams genoeg vrijheid om echt te experimenteren, zolang de aanpassingen maar worden gevalideerd. Dit is de stip op de horizon voor de data- en experiment-gedreven organisatie.

Webanalisten.nl
Dit artikel is geschreven door Ton Wesseling, in zin rol als juryvoorzitter en host van de Experimentation Culture Awards, voor het analyse- en optimalisatieplatform Webanalisten.nl.