Conversietip: kwaliteit of kwantiteit eerst?

Het moment is daar. Jouw collega’s hebben gezien dat steeds meer organisaties succesvol zijn op basis van digitale experimenten. Ook jullie willen met datagedreven beslissingen groeien. De tools zijn aanwezig en de resources zijn beschikbaar. Waar focus je eerst op bij de integratie: kwaliteit of kwantiteit?

Tekst: Ton Wesseling

Kwaliteit eerst

Een digitaal experiment lijkt eenvoudig, maar technisch heeft het wat voeten in de aarde om verschillende groepen mensen een andere variant van jouw online omgeving te laten zien. De gedragsdata daarvan moeten goed worden verzameld en op de juiste manier geanalyseerd om daar betrouwbare uitspraken over te doen. Het vakgebied kent veel puristen die de technische en statistische aanpak volledig op orde willen hebben voordat een experiment kan worden gestart. Daarnaast pleiten ze voor gedegen onderzoek met bewijs-gedreven hypotheses die worden geprioriteerd op kans van succes. De tophypotheses moeten dan worden omgezet naar een A/B-testontwerp op de juiste plek voor de juiste doelgroep en beoordeeld op de juiste KPI’s.

Dit is inderdaad hoe je in theorie een experiment wilt uitvoeren. Complex, niet? Gelukkig vallen veel van deze stappen te automatiseren, maar dat is bij de start nog niet het geval. Wil je daarop wachten? Wil je iedereen die met experimenteren bezig gaat vanaf de start al deze restricties opleggen? De praktijk leert dat adoptie dan heel traag gaat. Zeker wanneer collega’s worden bestraft als ze een experiment anders uitvoeren dan de regels voorschrijven.

Kwantiteit eerst

Experimenteren moet je leren. Net als bij fietsen zul je bij het leren een aantal keer vallen, maar op een gegeven moment lukt het en kun je ook steeds sneller. Maar wat gebeurt als er niemand naast je loopt om je te leren fietsen? Om aan te geven wanneer je iets op een andere manier zou kunnen proberen? Dan heb je zelf niet in de gaten dat een experiment technisch niet goed functioneert, dat niet de juiste data worden verzameld, dat je een locatie hebt gekozen waar te weinig gebruikers zijn, of dat je een aanpassing test met wel heel weinig kans op succes.

Focus op kwantiteit biedt een valkuil van veel experimenteren zonder resultaat, of nog gevaarlijker: wel resultaten, maar op basis van onbetrouwbare gegevens. Is dit het gedrag dat moet worden aangeleerd?

Conclusie

De focus op kwaliteit of kwantiteit is niet zwart-wit. Je start met een beetje kwaliteit, maar daarna wil je veel focus op kwantiteit, om dan steeds meer aan de kwaliteit te kunnen schaven. Het is aan te raden een aantal hygiëne-elementen te waarborgen voordat je gaat opschalen. Zorg dat de techniek en data op orde zijn en dat er op een juiste manier wordt bepaald of er een effect is.

Daarna is het vooral een kwestie van leren experimenteren. Dat collega’s op verkeerde locaties, niet onderbouwde hypotheses op een juiste manier toetsen is prima. Ze maken meters en ze krijgen feedback uit het valide systeem. Er ontstaat dan vanzelf de behoefte om succesvoller te zijn en dan staat men open voor hulp bij een meer gedegen aanpak.

Webanalisten.nl
Dit artikel is geschreven door Ton Wesseling, evidence-based growth specialist, voor analyse- en optimalisatieplatform Webanalisten.nl. Het originele artikel lees je hier.