A/B-testen zijn enorm populair, maar soms ontbreekt het aan voldoende verkeer en conversies om het zinvol te kunnen doen. De expertgroep Conversion Optimization heeft vijf alternatieve methoden in kaart gebracht om hypotheses toch te kunnen valideren. Het belangrijkste verschil met A/B-testen is dat je niet gelijktijdig twee verschillende varianten vergelijkt, maar dat je kijkt naar twee verschillende tijdvakken: de periode vóór de aanpassing en de periode erna.
A/B-testen zijn binnen conversieoptimalisatie dé methode om te valideren of je gedrag hebt veranderd van je websitebezoekers. De vuistregel om te kunnen A/B-testen luidt: minimaal vijfhonderd conversies per variant per device, met een looptijd van maximaal vier weken. Heb je die niet, op een onderdeel van of misschien wel op je hele website, dan kun je beter andere methoden gebruiken om te zien of je bijvoorbeeld daadwerkelijk frictie in het gebruiksgemak hebt weggehaald.
Vijf validatiemethoden
De expertgroep, voorgezeten door ISM eCompany, benoemt de vijf alternatieve validatiemethoden die door de experts zelf het meest worden ingezet: webanalytics, usability-testing, surveys met task completion rate, fake door testing en tree testing. Ze werken allemaal op basis van een voor- en na-analyse; je voert de beoogde conversieverbeteringen eerst door en je valideert achteraf.
Kort onder elkaar:
1. Webanalytics
Wil je een potentiële conversieverbetering valideren met webanalytics-data? Dan kun je in de basis uitgaan van dezelfde opzet als een A/B-testanalyse. Het belangrijkste verschil is dus dat je niet kijkt naar de data van een ‘control’ en een ‘variant’, maar naar de periode voor de aanpassing en de periode erna.
2. Usability-testing
Veelal wordt een usability-onderzoek uitgevoerd om potentiële conversieverbeteringen te ontdekken. Maar een usability-test kan ook worden ingezet als validatiemethode. Zorg voor een duidelijke afbakening; heeft een specifieke aanpassing een pijnpunt opgelost?
3. Surveys met task completion rate
Bij deze methode probeer je een hypothese te valideren door middel van een website-survey. Het doel van de survey is de bezoeker te vragen naar zijn ervaring met de website na het doorvoeren van de wijziging die je, in een situatie met meer verkeer en conversies, had willen A/B-testen.
4. Fake door testing
Een fake door-test is een relatief goedkope manier om een grote mogelijke verandering, zoals toevoeging van een wishlist, click & collect of een nieuwe productcategorie, snel te valideren. Zorg ervoor dat het voor de klant duidelijk is dat het gaat om een feature die nog ontwikkeld dient te worden.
5. Tree testing
Wanneer uit je data blijkt dat bezoekers moeite hebben met het vinden van producten of diensten op je website, kun je tree testing uitvoeren. Tree testing heeft als doel een logische structuur van je website en menunavigatie te bepalen en valideren. Het is een laagdrempelige methode waarmee je waardevolle inzichten verzamelt over hoe jouw doelgroep de structuur van producten en/of diensten op je website ervaart.
In de bluepaper zijn deze alternatieve validatiemethoden elk voorzien van een aanpak, do’s en don’ts. Ook worden er concrete cases van organisaties van expertgroepleden benoemd, die uitgebreider staan beschreven op Mijnconversiescore.nl.
Welke methode het beste werkt, hangt af van het specifieke geval. Wel is er een vuistregel voor validatie, besluiten de experts, die gaat over de betrouwbaarheid van je data. In het algemeen geldt dat als je kunt kiezen tussen een kwantitatieve of een kwalitatieve validatiemethode, de kwantitatieve methode de hoogste betrouwbaarheid biedt.
Bluepaper De bluepaper van de expertgroep Conversion Optimization is opgenomen in het nieuwe boek van ShoppingTomorrow, onder andere te koop bij bol.com. De bluepaper is ook los te downloaden, kosteloos, op de website van ShoppingTomorrow.
Twinkle besteedt de komende tijd aandacht aan de bevindingen van onderzoeksplatform ShoppingTomorrow. De expertgroepen publiceerden hun conclusies eind oktober in de bundel ‘The Next Chapter – Versneld vooruit’. Op de site van ShoppingTomorrow zijn de bluepapers gratis te downloaden. Samenvattingen daarvan vind je in ons dossier.
Ik heb wel eens meegemaakt bij een webwinkel dat uit een A/B test kwam dat een geboortedatum verplicht stellen de conversie verbeterde, of kosten rekenen voor betaalmethodes meer conversie opleverde. Drempels opwerpen kan per definitie niet je conversie verbeteren. Soms mis ik het gezond verstand in de A/B tests.