Website Aanpassingen Valideren Zonder A/B Testing

A/B testing wordt vaak als de heilige graal van conversie optimalisatie gezien. Sterker nog, door velen worden de termen 'CRO' en 'A/B testing' bijna als synoniemen van elkaar ingezet. Helaas is het uitvoeren van A/B testen echter niet voor iedere organisatie een realistische optie.

A/B testen is het vergelijken van twee of meer versies van een website. Daarbij wordt er gemeten hoe vaak bezoekers in elk van de verschillende versies van de website een gewenste actie (ook wel 'conversie' genoemd) doen. Op die manier kun je onderzoeken welke versie van de website beter converteert en die versie van de website live zetten. Maar waarom wordt dit als zo'n krachtige methode gezien binnen het online marketing vakgebied?

Piramide van bewijslast

De piramide van bewijslast toont de relatieve kracht van bevindingen verkregen uit onderzoek. Over de jaren zijn er zowel in de wetenschap als de praktijk vele varianten van een dergelijke piramide geproduceerd. De meeste daarvan richten zich echter (ook) op onderzoeksmethoden die voor conversie optimalisatie minder gangbaar zijn, zoals case-controlled studies, cohort studies, en cross-sectional studies. Om die reden wordt er hierboven een piramide van bewijslast getoond die is toegepast op de context van conversie optimalisatie.

In deze 'conversie piramide' worden vijf groepen van onderzoeksmethoden weergegeven. Tevens wordt aan de zijkanten getoond wat voor elk van deze onderzoeksmethoden de mate van kwaliteit van het bewijs is die zij opleveren en hoe groot het risico op bias is. Bias verwijst hierbij naar onbewuste beïnvloeding van de onderzoeksresultaten waardoor deze geen accurate weerspiegeling van de werkelijkheid geven. Denk bijvoorbeeld aan (onbewuste) vooroordelen van de onderzoekers die ervoor zorgen dat er bovengemiddeld veel aandacht aan een bepaald onderdeel besteed wordt.

• Meta analyse: Dit zijn analyses van grote hoeveelheden A/B tests. Daarbij wordt er gekeken of er inzichten verkregen kunnen worden de resultaten van uitgevoerde experimenten te groeperen op bepaalde thema's of pagina's. Deze vorm van analyse is alleen mogelijk wanneer testen systematisch worden opgezet en gedocumenteerd.
• A/B testing: In de wetenschappelijke context worden dit meestal randomized controlled trials genoemd. Bij deze techniek is er nadrukkelijk sprake van een willekeurige verdeling van bezoekers over verschillende varianten van de website.
• Data analyse: Hierbij wordt er bijvoorbeeld gekeken naar webstatistieken data of naar data aanwezig in de backend. Ook quasi-experimenten worden onder deze groep geplaatst. Op dat onderwerp wordt verderop in het artikel in meer detail ingegaan.
• Observatie studie: Het meest bekende voorbeeld hierna in de context van conversie optimalisatie is user testing. Daarbij wordt het gedrag van testers op de website geobserveerd en geanalyseerd.
• Mening van expert: Hier vallen verschillende technieken onder zoals een expert review, analyse van concurrenten, en desk research.

Zoals je aan de piramide kunt zien levert A/B testing een hoge kwaliteit van bewijs bij een laag risico op bias. Om die reden wordt deze methode dan ook gezien als een belangrijk onderdeel van het conversie optimalisatie proces. Dit zorgt er dan ook voor dat websites en webshops die hun conversie ratio willen verhogen, bijna altijd A/B testing als onderdeel van dit proces willen inzetten. Maar, hoe ga je er mee om wanneer dit niet mogelijk is?

A/B testing is niet mogelijk

Om statistisch betrouwbaar en valide te kunnen A/B testen zijn er een aantal condities waar je organisatie en website aan moet voldoen. Zo moet je voldoende conversies per maand hebben en als organisatie bereid zijn resources te besteden aan het opzetten van goede testen. Wanneer er niet aan die condities wordt voldaan, zullen testen waarschijnlijk niet goed in elkaar zitten, en daarmee een kostbare activiteit worden.

Te weinig conversies

Als vuistregel wordt gesteld dat je minimaal 1,000 conversies (aankopen, leads, donaties) per maand moet hebben om een goed A/B test programma op te kunnen zetten. Websites of webshops waar aanzienlijk minder dan 1,000 conversies per maand binnenkomen, hebben daarmee te weinig conversies. Dergelijke lagere aantal conversies zie je bijvoorbeeld vaak bij B2B websites, startups, of bedrijven die opereren in een niche. Tevens is het mogelijk dat een bedrijf iets wil onderzoeken voor een bepaald segment, op een minder bezochte landingspagina, op een minder bekeken positie onderaan op een pagina, of op een element waar weinig interacties mee zijn.

Te weinig resources

Daarnaast is het mogelijk dat er wel genoeg conversies per maand op de website of webshop zijn, maar dat het ontbreekt aan voldoende resources. Zo is het mogelijk dat er vanuit het management niet voldoende budget vrijgemaakt wordt om met A/B testing bezig te gaan. Ook kan er een gebrek zijn aan geschikte tools of medewerkers. Daarnaast is er natuurlijk ook enig vertrouwen nodig in de meerwaarde van A/B testing en moet er vanuit de organisatie voldoende prioriteit aan gegeven worden. Wanneer het ontbreekt aan te veel van deze resources is goede A/B testing mogelijk ook niet aan de orde.

Methoden voor CRO onderzoek

Uitzoeken waar kansen voor website optimalisatie liggen kan met een brede set aan methoden. Sommige van die methoden zijn kwalitatief terwijl andere kwantitatief zijn. Elk heeft echter zijn eigen unieke voordelen en nadelen. Gedegen CRO advies kan dan ook helpen om te bepalen welke van deze methoden het meest geschikt kan zijn.

• Heatmaps: Er zijn tools die opslaan op welke elementen een bezoeker klikt of tapt. Op die manier kun je inzicht krijgen in welke elementen vaak door bezoekers gebruikt worden. Ook kun je leren welke elementen bezoekers op klikken, maar die niet klikbaar zijn. Soms zijn dit bijvoorbeeld elementen die er grafisch op de website uitzien als een knop, maar geen knop zijn.
• Scrollmaps: Ook is het mogelijk om te kijken hoe ver bezoekers gemiddeld naar beneden scrollen op een pagina. Daardoor kun je bijvoorbeeld ontdekken, dat een belangrijk element dat relatief laag op de pagina geplaatst is, slechts door een klein percentage van de bezoekers wordt gezien. Uiteraard is het belangrijk om dit op te delen voor desktop, tablet, en mobiel verkeer.
• Sessie replays: Deze geven een bewegend beeld van hoe een bezoeker zich over de website beweegt. Door muisbewegingen, scrolls, en kliks bij te houden, kan een sessie replay tool je als het ware over de schouder van een bezoeker laten meekijken. Dit kan waardevolle inzichten geven in hoe de flow van een website of bijvoorbeeld de checkout van een webwinkel is opgebouwd.
• Interviews: Hiermee kun je dieper ingaan op de 'waarom' van bezoekers of klanten. Zo kun je hen bijvoorbeeld vragen waarom zij voor jullie gekozen hebben en niet voor een concurrent, of waarom zij voor bepaalde producten kozen en niet voor andere.
• Klantenservice: Mijn ervaring is dat veel bedrijven hier kansen laten liggen. De support medewerkers zijn namelijk dagelijks in gesprek met mensen die tegen allerhande problemen op de website aanlopen. Door de kennis van de support medewerkers mee te nemen in het optimalisatie traject, kunnen er waardevolle inzichten gebruikt worden die anders mogelijk niet aan bod waren gekomen.
• Statistieken: Deze zorgen voor inzicht in de 'wat' van het gedrag van bezoekers. Namelijk welke pagina's bezoekers bekijken, op welke apparaten, met welke browsers, op welke schermformaten, etc. Veelgebruikte tools hiervoor zijn Google Analytics, Snowplow, Matomo, en Piwik.
• Gebruikerstesten: Hierbij wordt er vaak gewerkt met panels. Er wordt dan aan testers uit het panel gevraagd om opdrachten op de website uit te voeren en hierbij hardop te zeggen wat hun gedachten daarbij zijn.
• Focus groepen: Dit zijn groepen mensen (meestal uit de doelgroep) waaraan vragen worden gesteld over het bedrijf. Zo kunnen die vragen bijvoorbeeld gaan over het productaanbod of de unieke waardepropositie, maar natuurlijk ook over bepaalde onderdelen van de website.
• Enquêtes: Een kwantitatieve methode om meer inzicht te krijgen in de gedachten van bezoekers of klanten. In sommige gevallen zijn de resultaten van surveys ook inzetbaar om bijvoorbeeld te delen op social media.
• Academisch onderzoek: Inzichten vanuit de wetenschap zijn vaak goed gevalideerd en kunnen daarom erg waardevol zijn. Hoewel ze niet specifiek toegepast zijn op een bepaald bedrijf, kan een breder inzicht wel helpen om te bepalen hoe een bepaald vraagstuk aangevlogen kan worden.
• Product reviews: Veel webshops kiezen ervoor om bezoekers product reviews te laten plaatsen bij de producten. Deze kunnen soms waardevolle informatie bevatten over kansen hoe de webshop verder kan worden geoptimaliseerd.
• Social media: Ook is het belangrijk om social media kanalen goed in de gaten te houden. Mensen plaatsen namelijk soms kritiek over bedrijven op hun social media profielen. Die informatie kan soms goed gebruikt worden om de website te verbeteren.
• Interne feedback: Medewerkers zijn dagelijks met de website van het bedrijf bezig. Dit zorgt er dan ook voor dat zij soms unieke feedback hebben over optimalisatie kansen. Zorg er dan ook voor dat er een geschikt platform is waarop zij dit informatie kunnen delen met de product owners.

Alternatieven voor A/B testing

Om maar met de deur in huis te vallen: geen van onderstaande methoden is een directe vervanger voor A/B testing. Net als A/B testing unieke voordelen en nadelen heeft, hebben de onderstaande methodes dat ook. Wel kunnen deze methodes een hulpmiddel zijn voor bedrijven die niet kunnen A/B testen, maar wel zo gedegen mogelijk met CRO bezig willen zijn.

Triangulatie

Door het inzetten van triangulatie combineer je verschillende onderzoeksmethoden om zo de zwakheden en bias van elke individuele methode te verkleinen. Triangulatie is een onderzoeksstrategie die kan helpen om de validiteit en betrouwbaarheid van bevindingen te vergroten. Deze techniek wordt vooral toegepast bij kwalitatief onderzoek, maar ook bij kwantitatief onderzoek. Bij zogenaamd mixed methods onderzoek (een combinatie van kwalitatief en kwantitatief) gebruik je altijd methodologische triangulatie.

Norman Denzing heeft het boek 'Sociological Methods: A Sourcebook' vier types van triangulatie geïdentificeerd:

• Data triangulatie: Het gebruik van input uit verschillende tijden, plaatsen, en mensen.
• Onderzoeker triangulatie: Het betrekken van meerdere onderzoekers.
• Theorie triangulatie: Het gebruik van verschillende theoretische perspectieven.
• Methodologische triangulatie: Het gebruik van verschillende methoden van onderzoek.

Voorbeelden van combinaties

Wanneer triangulatie wordt toegepast op onderzoek voor conversie optimalisatie doeleinden, dan kun je hierbij diverse combinaties van bovenstaand beschreven methoden inzetten. Denk bijvoorbeeld aan:

• Heatmaps + Sessie replay: Heatmaps geven een visueel duidelijk overzicht van waar er op een pagina wordt geklikt door alle bezoekers. Sessie replays daarentegen geven een beeld van waar een individuele bezoeker klikt. Wanneer je bijvoorbeeld in een sessie replay een bezoeker ziet klikken op iets wat niet klikbaar is, kun je een heatmap gebruiken om te kijken of dat iets is dat vaker gebeurt, of een uniek probleem voor die bezoeker. Omgekeerd kun je in een heatmap zien waar veel geklikt wordt, en vervolgens met een sessie replay kijken hoe bezoekers kwamen tot die klik. Dit is een voorbeeld van een combinatie tussen kwalitatief en kwantitatief onderzoek.
• Klantenservice + User testing: Stel dat er bij de klantenservice regelmatig meldingen binnenkomen dat bezoekers moeite hebben het gebruiken van de filters op een categoriepagina. Vervolgens kun je dan een user test opzetten die zich grotendeels afspeelt op precies die pagina's en testers herhaaldelijk opdrachten laat uitvoeren waarbij ze de filters moeten gebruiken. Op die manier kun je live zien hoe mensen omgaan met de filters en wat hun gedachten daarover zijn. Mogelijk dat de testers ook al ideeën over oplossingen aandragen van hoe de filters verbeterd zouden kunnen worden.
• Academisch onderzoek + Interne feedback: Hierbij maak je gebruik van wat de theorie zegt plus wat je in de praktijk terugziet. De kracht van academisch onderzoek is dat dit vaak goed onderbouwd is, maar als zwakte kan gesteld worden dat het niet is toegepast op de exacte situatie. Interne feedback is daarentegen vaak niet onderbouwd, maar juist wel heel goed toegepast op het bedrijf. Op die manier worden de zwaktes van de ene methode deels opgeheven door de krachten van de andere, wat theoretische dan ook zal leiden tot betrouwbaardere inzichten.
• Expert review + Interviews: Bij een expert review kan het voor sommige aandachtspunten lastig zijn om je voldoende in te leven in de doelgroep. Wanneer je na het uitvoeren van een expert review in staat bent om enkele interviews met de doelgroep te voeren, dan kun je eenvoudig doorvragen over die punten en mogelijke oplossingen vinden voor de aandachtspunten.

Doorlopende user testing

Op regelmatige basis user testing uitvoeren om zo continu feedback te verzamelen over de ontwikkeling van de website.

Veel organisaties die gebruikmaken van user testing doen dit op sporadische basis. Vrijwel altijd gaat het hier om minder dan één ronde testing per jaar. Wanneer je er echter voor kiest om de frequentie van het user testing flink te verhogen, dan kun je deze methode gebruiken om een vinger aan de pols te houden. Wanneer je naast een verhoogde frequentie ook de hoeveelheid testers verhoogd, kun je zelfs gaan denken aan kwantitatieve user testing (ook wel benchmarked genoemd). NN Group beschrijft enkele voordelen die dit met zich meebrengt, zoals dat de usability gekwantificeerd wordt en dat je designs kunt gaan vergelijken.

In de praktijk kun je doorlopende user testing net zo uitgebreid en duur maken als je zelf wilt. Zo stelt één user test per kwartaal met vijf testers je al in staat om op terugkerende basis UX inzichten te krijgen. Wanneer je dit verhoogd naar twintig testers per keer dan kun je al trends in kwantitatieve beoordelingen van onderdelen gaan waarnemen. Verhoog het aantal tests vervolgens naar één per maand en de methode wordt bruikbaar om bijvoorbeeld geplande functionaliteiten alvast te gaan testen voordat ze gebouwd worden, etc.

Enkele voordelen van user testing boven A/B testing zijn dat ervoor deze methode er geen scripts op de website geplaatst hoeven te worden en er tevens geen technische kennis nodig is om user tests op te zetten.

Quasi-experimenten

Tevens bestaat er nog de mogelijkheid om quasi-experimenten uit te voeren. Dit zijn experimenten waarbij bezoekers niet willekeurig worden verdeeld over de controlegroep en varianten.

In plaats van een willekeurige verdeling over de varianten zoals dit bij een A/B test gebeurt, wordt er vaak gebeurt met externe omstandigheden. Een veelgebruikte 'opdeler' is in dit geval 'tijd'. In het artikel The Experimentation Gap valt te lezen dat quasi-experimenten vaak tot wel 10-30% van de totale hoeveelheid experimenten vertegenwoordigen bij bedrijven die geïnvesteerd hebben in een infrastructuur om dit type testen mogelijk te maken.

Zoals beschreven op de blog van Vista gebruikt deze partij regelmatig quasi-experimenten. Het gaat hier dan bijvoorbeeld zogenaamde pre/post tests, waarbij de situatie voor en na een bepaald tijdstip wordt vergeleken. Zij geven dan ook aan meer dan 200 van zulke testen gedraaid te hebben in het afgelopen jaar. Naast pre/post tests zijn er ook uitgebreidere vormen zoals switchback, crossover, en time-discontinuity designs mogelijk als quasi-experimenten. Op het oog zijn quasi-experimenten een intuïtieve vervanger van A/B testen. Doordat vanwege de opzet externe factoren echter niet automatisch uitgefilterd worden, kan het betrouwbaar en valide analyseren van quasi-experimenten uitdagend zijn.

Conclusie

Website optimalisatie ideeën valideren op een website kan uitdagend zijn. Grote bedrijven gebruiken hiervoor vaak A/B tests, maar voor kleinere organisaties is dit vanwege diverse oorzaken soms niet mogelijk. In dit artikel zijn daarom enkele mogelijkheden besproken om tot betere inzichten te komen en geplande wijzigingen toch (deels) te kunnen valideren.