Afzonderlijk of tegelijkertijd A/B-testen

Je bent lekker bezig met A/B-testen en je wilt het aantal experimenten verhogen, maar je hebt je limiet bereikt. Ga je dan op meerdere pagina’s tegelijkertijd experimenteren? Helpt dit in het versnellen van je conversion rate optimization-programma? Of ben je alleen maar je data aan het vervuilen? Helaas is het antwoord op beide laatste vragen ‘ja’. Wegen de voordelen op tegen de nadelen?

Het voordeel

Stel je hebt vier pagina’s waarop je kunt experimenteren en op alle vier de pagina’s moet een experiment vier weken live staan. Als je telkens wacht totdat het ene experiment klaar is voordat je een nieuw experiment live zet, en je dus maar één pagina tegelijkertijd test, dan kun je twaalf A/B-testen per jaar afronden. Wanneer je echter meerdere experimenten tegelijkertijd live zet, kunnen er vier experimenten per maand tegelijkertijd live staan. Dit zijn 48 experimenten op jaarbasis en dus heb je vier keer vaker de mogelijkheid om iets te leren en verklein je de kans dat je geld laat liggen.

Het nadeel

Het gevolg is echter dat je meer risico loopt op interactie-effecten, waarbij het effect van de ene test invloed heeft op het effect van de andere test. Hierbij zijn twee scenario’s mogelijk.

Scenario 1

Wanneer er geen interactie-effecten zijn, kun je ervan uitgaan dat het prima is om meerdere testen tegelijkertijd live te hebben staan, zonder dat ze je data vervuilen. Daarnaast is je concurrent waarschijnlijk ook aan het experimenteren en hebben zijn A/B-testen net zo’n grote invloed op de resultaten van jouw A/B-test als je eigen experimenten.

Scenario 2

Wanneer er wel een interactie-effect is kan dit leiden tot:

●      een positief effect: dit wil zeggen dat het effect van variant B van experiment 1 het effect van variant B van experiment 2 versterkt. Hierdoor worden beide testen een winnaar, en dus implementeer je beide testen. Dit effect is echter alleen maar positief wanneer je beide varianten live hebt staan. Doe je dit niet en implementeer je maar één variant, dan kan het zo zijn dat de variant een heel ander effect teweegbrengt.

●      een negatief effect: dit wil zeggen, variant B van experiment 1 verzwakt een mogelijk positief effect van variant B van experiment 2. Hierdoor lijken beide A/B-testen geen winnende varianten op te leveren, met als gevolg dat je winnaar ratio daalt, terwijl er mogelijk wel positieve effecten zijn.

Maak de afweging

Helaas weten we van te voren niet of er interactie-effecten zijn, waardoor geen eenduidig antwoord te geven is op de vraag of meerdere A/B-testen tegelijkertijd een probleem vormen. Des te belangrijker is het om een goede afweging te maken. Als je grote overlap verwacht, of als je experiment erg belangrijk is: test dan afzonderlijk. Is dit niet het geval, ga dan voor snelheid en test tegelijkertijd.

Webanalisten.nl
Dit artikel is geschreven door Anouk Erens, senior data insights expert bij Online Dialogue, voor het online analyse- en optimalisatieplatform Webanalisten.nl. Het complete artikel is te lezen op https://anali.st/interactieeffecten.