Bugsbestrijding bij Otto

Bugs verstoren niet alleen de winkelervaring van klanten, ze kunnen ook leiden tot het afhaken van consumenten in het koopproces. Webwarenhuis Otto, met een breed assortiment op het gebied van fashion, living en techniek, werd hiermee in toenemende mate geconfronteerd. Daarom huurde het een externe partij in om – als aanvulling op het eigen testwerk – bugs op te sporen.

Bugs kunnen je website behoorlijk klantonvriendelijk maken. Het erge daarbij is dat je als webwinkel zelf vaak niet alle functionele fouten in je systeem kunt zien. Daarvoor zou je alle in omloop zijnde browserversies, besturingssystemen en devices waarmee bezoekers je webwinkel binnenkomen, moeten onderzoeken. Ondoenlijk, zegt Corny van de Wal, teammanager Shop Development & Production bij Otto. ‘Voor het testen van bugs werkt ons eigen team met de meeste gebruikte browserversies, besturingssystemen en devices. Maar daarmee zijn die tests verre van volledig. Wij zagen dat het steeds vaker fout ging bij systemen, browserversies en apparaten die we niet konden meenemen in onze eigen tests omdat we die als testmateriaal niet zelf in huis hadden. We kwamen er dan bij toeval achter dat bijvoorbeeld buttons op mobiele schermen niet in beeld waren en dat klanten in bepaalde browserversies niet verder konden in hun bestelproces. Dat willen we natuurlijk niet: onze website moet zo klantvriendelijk mogelijk zijn én blijven.’ Op zeker moment zag Otto bijvoorbeeld bij Internet Explorer een afbreekratio die in de loop der tijd verhoogd was met 5 procent. Van de Wal: ‘Toen moesten we erkennen: we kunnen die bug-tests niet langer helemaal zelf doen. Er moest aanvullende hulp komen.’

Crowdtesting

Die hulp kwam in de zomer van 2016. Otto startte de samenwerking met Testbirds, een van oorsprong Duits bedrijf dat werkt met crowdtesting, vooral op bugs en usability. De testserviceprovider telt wereldwijd 250.000 testers, van wie in de database wordt bijgehouden met welke besturingssystemen, devices en browserversies ze werken. ‘We hebben eerst in kaart gebracht waar Otto’s problemen liggen, waarna we daar de juiste testers in de vorm van eindgebruikers bij hebben gezocht’, vertelt Daan Littley, projectmanager bij Testbirds. Voor Otto werkt Testbirds met dertig verschillende testers per ronde, die vanuit huis testen op hun eigen apparaten. ‘We voeren maandelijks een test uit, waarvoor we van de webwinkel twee weken van tevoren de requirements willen ontvangen. Zo kunnen we ons goed voorbereiden. Binnen twee weken hebben wij dan de problemen in kaart gebracht. Per maand verzamelen we, naast waardevolle usability feedback, gemiddeld honderd bugs. We verdelen deze fouten in critical-, high-, middle- en low-risk. De programmeurs van Otto lossen vervolgens zelf de bugs op en nemen de feedback mee in vervolgontwerpen.’

Er is geen vast patroon in de probleemanalyse en de bijbehorende oplossingen, zegt Littley. Ook het aantal fouten is in de loop van het afgelopen jaar niet verminderd. ‘Het is namelijk een continu proces, functionele fouten zullen er altijd zijn’, stelt de projectleider. ‘Programmeurs zullen er heus wel dingen van leren, maar je moet niet vergeten dat een site wordt gebouwd op basis van klantbeleving. Die beleving staat bij het ontwerp voorop – en niet de eventuele bugs die zouden kunnen ontstaan.’

Blinde vlek

Van de Wal is tevreden over de samenwerking maar ontkent dat Otto zich op het gebied van bugsbestrijding afhankelijk maakt van Testbirds. ‘Wij testen ook nog steeds intern, dat is niet verminderd. We zien Testbirds als een aanvullende partij.’ De ervaringen die Otto opdoet met Testbirds vormen geen aanleiding om straks het volledige testen zelf weer te gaan uitvoeren, zegt de teammanager. ‘Daarvoor is het gehele veld aan browserversies, devices en besturingssystemen te versnipperd. En ook al zóuden we te maken hebben met bijvoorbeeld maar drie belangrijke bronnen van webverkeer: dan nog zou testen in eigen huis te veel tijd kosten. Crowdtesting werkt veel sneller.’ Bovendien, meent Van de Wal, met een externe partij voorkom je organisational blindness. ‘Bij grote bedrijven moeten interne tests vaak worden uitgevoerd volgens een protocol en dan ontwikkel je toch een blinde vlek.’

Hoewel Otto dankzij Testbirds veel fouten heeft kunnen verhelpen, lijkt een volledig foutenvrije site een utopie. Dankzij het vertrouwen dat beide partijen in elkaar hebben opgebouwd zijn de resultaten echter positief. Al moeten ze wel erkennen dat dit vertrouwen ook tegen hen kan werken. ‘Dat kan een valkuil zijn’, erkent Littley. ‘Je kent elkaar inmiddels zo goed dat je aan een half woord genoeg denkt te hebben. Maar juist dan kan vertrouwen omslaan in gemakzucht. En ga je werken met aannames. Je moet blijven beseffen dat elke test weer volstrekt anders is. Gelukkig zijn we daar elk project weer alert op door de juiste vragen te stellen.’

Over Otto
Het Duitse Otto begon in 1949 als postorderbedrijf en verkocht aanvankelijk uitsluitend schoenen. Inmiddels is de Otto Group uitgegroeid tot een wereldspeler in de home-shopping markt. De in Tilburg gevestigde Otto is onderdeel van de wereldwijde Otto Groep en vormt binnen deze groep één van de grootste bedrijven. De Otto Group heeft ongeveer 54.000 medewerkers in dienst in meer dan 123 bedrijven en is actief in meer dan 20 landen in Europa, Amerika en Azië. In 2015/2016 bedroeg de omzet ruim 12 miljard euro. Het bedrijf biedt klanten één van de grootste assortimenten in de markt, met een focus op lifestyle in de categorieën mode, wonen en elektronica. Otto bezet de 20ste plek in de nieuwe Twinkle100.