Conversietip: je eigen testplatform

Waarom zou je je eigen A/B-testplatform gaan bouwen, als er genoeg partijen zijn die daar al complete oplossingen voor aanbieden? Kaartje2go liep na de release van zijn nieuwe websitearchitectuur echter tegen de beperkingen van bestaande A/B-testsoftware aan en besloot zijn eigen platform te ontwikkelen.

Tekst: Arnoud Huberts

Met de nieuwe website van Kaartje2go, een Single Page Application op basis van React, werd het managen van experimenteren erg lastig. Als er door een ontwikkelteam wijzigingen in de broncode werden gemaakt, kon dat ervoor zorgen dat een experiment niet meer werkte. Een ontwikkelaar kon in de broncode niet zien dat er een A/B-test werd toegepast, waardoor er testen stuk gingen zonder dat iemand het merkte. Ook het ontwikkelen van experimenten via DOM-manipulatie (het in de browser van je bezoeker wijzigen van de website) was lastig geworden. Er moesten continu loops worden geschreven die monitorden of React de website niet had gewijzigd.

Project

Het inzicht van Kaartje2go was dat het zelf een A/B-testing platform kon bouwen dat deel uitmaakte van de React codebase, waardoor geen DOM-manipulatie meer nodig zou zijn. Het samengestelde projectteam bestond uit één front-end ontwikkelaar en één CRO-expert. Het project werd eind 2019 binnen zes weken uitgevoerd met de volgende minimale eisen:
• Mogelijkheid tot testen met tenminste één variant.
• Zuivere verdeling van gebruikers in varianten.
• Terugkerende bezoekers blijven in dezelfde variant.
• Data versturen naar Google Analytics.
• Betrouwbaarheid, betrouwbaarheid!
Het platform is nu nog steeds succesvol in gebruik. Het geeft voor Kaartje2go belangrijke voordelen, maar natuurlijk zijn er ook nadelen.

Voordelen:

• Past perfect op ons technisch framework.
• Geen maandelijkse licentiekosten.
• Geen kosten voor ongebruikte features.
• Winnende experimenten kunnen direct live.
• Alle kennis en kunde zit binnen je bedrijf.
• Geen vertraging of flickering bij inladen.

Nadelen:

• Meer technische kennis nodig bij configureren en coderen.
• Geen visuele editor voor eenvoudige experimenten.
• Minder features dan bij betaalde software.
• Minder snel zicht op bugs, omdat je de enige gebruiker bent.
• Zelf verantwoordelijk voor doorontwikkeling en onderhoud.

Tot slot

Behalve de voordelen en nadelen tegen elkaar afwegen, is er meer nodig voordat je serieus gaat nadenken over het zelf ontwikkelen van je A/B-testoplossing. Het is belangrijk dat er al een cultuur van experimenteren binnen de organisatie aanwezig is. Men zal immers niet snel geneigd zijn om aan zo’n project te beginnen, als er niet al een absolute overtuiging is van de toegevoegde waarde van A/B-testen. Daarnaast moet er voldoende development-tijd beschikbaar zijn voor het ontwikkelen en onderhouden van de tool en natuurlijk voor het bouwen van de experimenten zelf.

Webanalisten.nl
Dit artikel is geschreven door Arnoud Huberts, senior customer experience specialist, voor analyse- en optimalisatie platform Webanalisten.nl. Daar is ook het hele artikel te lezen.