Learnings voor A/B-testing

Velen praten over A/B-testen, maar in de praktijk wordt het nog te weinig (goed) uitgevoerd. Testen vergt een serieuze voorbereiding waarbij verschillende disciplines moeten worden aangehaakt. In dit artikel vindt u enkele learnings .


Tekst: Jan de Vries

1. De start
Wees op tijd
Start vroegtijdig met de voorbereidingen. Het bepalen, maken en implementeren van een test kost tijd.

Maak een team
Maak een team die verantwoordelijk is voor de test. Zorg ervoor dat het mensen zijn die de kracht van testen inzien en hier graag een bijdrage aan willen leveren. Met dit team waarborg je de verschillende disciplines die nodig zijn voor het creëren, maken, implementeren en analyseren van de test.

Brainstorm
Hou een brainstormsessie om de varianten en hypotheses te bepalen. Dit geeft iedereen de ruimte om na te denken en het helpt om de creativiteit op gang te brengen.

Planning
Maak vooraf een planning die duidelijk maakt wanneer je wat gaat testen. Per fase stel je vast wat de primaire doelen zijn van de landingspagina. Maak vooraf een calculatie van de tijd die je nodig denkt te hebben om tot significante resultaten te komen. Gebruik hierbij beschikbare tools en data uit het verleden.

Kies je wapen wijs
Begin al vroeg met het maken van een document waarin je aangeeft waar de codes moeten worden geplaatst voor de tool waarmee je gaat testen. Hou hierbij rekening met één performancetest en de uitkomsten hiervan.

Informeren
Get the energy going. Informeer vooraf de organisatie en leveranciers over wat je gaat doen en waarom. Wanneer je de tijd hebt, kun je hiervan zelfs nog een leuke contest maken. Op deze wijze wordt testen voor iedereen leuk en spannend.

2. De test
Analyseer ‘on the fly’
Neem een aantal momenten waarop je de test analyseert. Kijk of de data logisch lijkt en of er uitschieters tussen zitten. Gebruik hierbij je webanalyticspakket om te kijken of de data overeenkomt en klopt.

Durf te kiezen
Durf gedurende de test ook keuzes te maken in de varianten die er zijn. Schakel de slechts scorende uit en laat de beste zo lang mogelijk meedraaien. In principe doe je dit niet snel, maar wanneer de situatie dit verlangt, doe het dan. Het uiteindelijke resultaat telt.

3. Het resultaat
Learnings and earnings
Deel je ervaringen eerlijk en transparant. Benoem de goede en mindere punten, en geef aan wat de impact hiervan is geweest. Zet het resultaat om in harde euro’s. Dit geeft je inzicht in de ROI van het testen.

Logboek
Leg je resultaten vast in een logboek. Zet hierin wat je hebt getest en met welke hypothese(s). Wat zijn de resultaten geweest en komt er een vervolg?

Dit artikel verscheen eerder in Twinkle 6-2011