Waarom een A/B-test vaak niets oplevert

Conversieoptimalisatie is geen A/B-test, maar een A/B-test is wel een heel belangrijk onderdeel van conversieoptimalisatie. Als u echter steeds maar weer geen winnende variaties uit de tests haalt, verdwijnt op de A/B-test uit beeld. Waarom verdergaan als het toch niets oplevert?
  
Tekst: Ton Wesseling
  
De vraag is waarom de A/B-test niets oplevert. Iedereen roept toch altijd dat minimaal één op de drie tests leidt tot een significant positief resultaat?

Reden 1: impact
Kleine wijzigingen op een webpagina kunnen een heel grote impact hebben! Dat gebeurt echter niet zo vaak… heel weinig zelfs. De realiteit is dat de impact vaak te klein is om statistisch zichtbaar te zijn. Vooral als het kleine wijzigingen zijn. Grotere wijzigingen leveren veel vaker grotere uitslagen op. Deze grotere uitslagen zijn echter alleen maar positief als ze gebaseerd zijn op gedragsdata, gedragskennis en gebruikerskennis. Bepaal met data waar u impact kunt vergroten, begrijp wat de gebruikerstaak is en weet welke psychologische principes u kunt gebruiken voor een beter ontwerp.

Reden 2: bezoek
U hebt simpelweg te weinig bezoekers en te weinig conversies. Stel: uw conversie is nu 10 procent (vanaf de pagina die u test). Om 80 procent kans te hebben om een verschil van 5 procent meer conversie aan te tonen met 95 procent zekerheid, hebt u iets meer dan 90.000 bezoekers nodig in de testperiode! Dit zijn dus ook ruim 9.000 conversies… En dat is alleen nog maar bij een A/B-test, laat staan als u meerdere variaties tegelijk test. Uw testperiode is echter ook nog gelimiteerd tot, laten we zeggen, vier weken. Doordat cookies worden verwijderd zullen uw testpopulaties elke dag verder vervuilen, waardoor de resultaten op een gegeven moment niet meer verschillen. In de praktijk moet u enkele honderden conversies per week hebben om op een goede manier regelmatig een A/B-test uit te voeren.

Reden 3: techniek
Een A/B-test uitvoeren is door alle nieuwe software steeds eenvoudiger geworden. U kunt heel simpel een headline aanpassen of een foto vervangen, maar zodra u verder gaat, gaat het vaak mis. Bij verschuivingen in uw template of toevoeging van nieuwe elementen in een variant, wil het niet altijd even goed werken, laat staan in elke browser. Wat daarbij ook vergeten wordt, is dat de testvariant extra code moet inladen en daardoor trager is voor de bezoeker. Hoe sneller uw website, hoe meer conversie. De originele pagina is dus in het voordeel. Zorg er dan ook voor dat u dezelfde code ook in de originele pagina zet, uiteraard zonder dat deze voor de gebruiker zichtbaar is!