A/B Testing Doelen Correct Inzetten

Gebruik je de A/B testing tool of een webanalyse tool voor de analyse van je experimenten? Wat voor types doelen zijn er en hoe ga je hiermee om? Leer hoe je kunt bepalen welke gebeurtenissen op een website geschikt zijn als conversie doelen en hoe je die zo slim mogelijk opslaat.

Wat is een conversie doel?

Bezoekers vertonen gedrag op een website. Denk bijvoorbeeld aan weergaven van bepaalde pagina's, clicks op elementen, items toevoegen aan een winkelwagen, etc. Om te kunnen bepalen of dit gedrag verandert als gevolg van de wijziging in de A/B testing variant, moeten deze acties opgeslagen worden. Wanneer je de A/B test gaat analyseren met behulp van de testing tool, dan sla je deze acties op als een conversie doel. Indien je echter het experiment gaat analyseren met behulp van een webanalyse tool zoals Google Analytics, dan sla je deze acties op als paginaweergaves, doelen, transacties of gebeurtenissen.

Hoe verschillen doelen van KPI's?

Key Performance Indicators (KPI) zijn meetbare waardes die de voortgang van business goals laten zien. Sommige van de acties die bezoekers uitvoeren op een website kunnen als (key) performance indicators gezien worden. Het is hierbij dan wel van belang dat deze acties opgeslagen worden, anders zijn ze niet meetbaar. In de context van een A/B test gebeurt dit opslaan in conversie doelen of in de webanalyse tool.

Hoe bepaal je relevante A/B test doelen?

Voordat een experiment gestart wordt, dien je te bepalen wat relevante doelen zijn voor dat experiment. Hierbij spelen drie belangrijke zaken, namelijk het Overall Evaluation Critereon, de hypothese, en zogenaamde guardrail metrics.

Overall Evaluation Critereon

Het concept van een Overall Evaluation Critereon (OEC) is geïntroduceerd door Ronny Kohavi, die één van de grondleggers van online conversie optimalisatie door middel van online experimenten is. Ronny omschrijft een OEC als een "geschikte (vaak samengestelde) kwantitatieve waarde voor experimenten die in lijn is met de strategische doelen". Verder benoemt hij dat het opstellen van een OEC "weliswaar een simpel proces lijkt, maar dat het lastig is om te bepalen welke korte termijn waardes de beste voorspellers zijn voor lange termijn uitkomsten". In de praktijk houdt dit in dat veel organisaties er voor kiezen om metrics als 'omzet per gebruiker' te kiezen als hun OEC, wat al een stuk beter doordacht is dan een keuze voor conversieratio of gemiddelde orderwaarde. Belangrijk is dan ook om de gekozen waarde(s) waaruit de OEC bestaat door te meten als testing doelen.

Hypothese

Een ander belangrijk punt om in de gaten te houden is de hypothese. Hierin wordt namelijk geformuleerd wat de verwachte impact van de wijziging in het experiment is op het gedrag van de bezoekers. Wanneer het aantal items dat wordt toegevoegd aan de winkelwagen een onderdeel is van de hypothese, dan moet die 'Call to action' knop natuurlijk ook doorgemeten worden als doel. Door rekening te houden met de hypothese bij het bepalen van de testing doelen verklein je tevens de kans op cherry picking. Dit is een proces waarbij je eindeloos gaat zoeken in de resultaten op zoek naar een doel waarop een statistisch verschil is opgetreden.

Guardrail metrics

Ten slotte zijn ook guardrail metrics nog van belang. Deze waardes houd je bij om te bepalen of het experiment naar verwachting verloopt. De belangrijkste, en één van de meest praktische meetbare, guardrail metric is de Sample Ratio Mismatch (SRM). In de context van dit artikel dient de SRM echter gezien te worden als een analyse van opgeslagen waardes, in plaats van als een losstaande waarde op zich. Zo kun je een SRM analyse doen om te kijken of het aantal gebruikers wel gelijk genoeg is verdeeld over de varianten. Het is echter ook mogelijk om een SRM analyse uit te voeren op het aantal keren dat een video wordt bekeken, een thumbnail wordt aangeklikt, een maattabel wordt bekeken, etc. Om die analyses uit te kunnen voeren is het dan echter wel nodig dat dergelijke waardes worden opgeslagen tijdens de looptijd van het experiment.

Doelen opslaan in testing tool of webanalyse tool?

Het is belangrijk om te bepalen in welke tool je de resultaten gaat analyseren voordat je het experiment start. De testing doelen dienen immers goed te worden gemeten in de gekozen tool vanaf de eerste bezoeker die onderdeel wordt van het experiment. Beide oplossingen hebben hun eigen voordelen en nadelen, die hieronder besproken zullen worden.

Testing tool

Je kunt er voor kiezen om je doelen op te slaan in een testing tool als Convert, VWO, Adobe Target, of Optimizely. Dit zorgt echter voor een aantal potentiële uitdagingen.

• Verplicht vooraf instellen: Regelmatig komt het voor dat na het afronden van de test er toch behoefte aan aanvullende data is. Denk bijvoorbeeld aan de clicks op een bepaald element. Wanneer je dit niet vooraf hebt ingesteld in de testing tool, zal deze data in de meeste gevallen niet meer beschikbaar zijn.
• Beperkt aantal doelen: Houdt er hierbij rekening mee dat je meestal maar een beperkt aantal testing doelen kunt opslaan. Dit maakt het bijvoorbeeld al lastig om alle relevante waardes die gebruikt kunnen worden als guardrail metrics in te stellen.
• Verschillen met webanalyse: In vrijwel alle gevallen zal er naast de testing tool ook nog een webanalyse tool gebruikt worden binnen de organisatie. Doordat de data in de testing tool hoe dan ook afwijkt van die in de webanalyse tool (door andere definities van 'gebruikers' of 'sessies' bijvoorbeeld) maak je het jezelf potentieel erg lastig. Je zult dan namelijk moeten gaan uitleggen waarom deze waardes afwijken, en ik kan uit ervaring vertellen dat dit eigenlijk niet te doen is.
• Geen filtering mogelijk: Tijdens de analyse van een A/B test zul je regelmatig de behoefte hebben om filtering toe te passen. Denk bijvoorbeeld aan het oplossen van outliers. Dergelijke filtering is in vrijwel geen enkele testing tool beschikbaar, waardoor je beperkt wordt in je mogelijkheden om een solide analyse uit te voeren.
• Soms geen segmentatie: In sommige testing tools is het niet mogelijk om de resultaten achteraf te segmenteren. In andere tools is dit wel mogelijk, maar soms als onderdeel van een dure pakket optie of alleen wanneer je de segmenten voor het starten van de test hebt gedefinieerd. Wanneer je de testresultaten niet kunt segmenteren, dan zul je bijvoorbeeld geen uitspraken kunnen per apparaatgroep of per browser.

Webanalyse tool

Een alternatief is om de doelen op te slaan in een webanalyse tool zoals Google Analytics, Adobe Analytics, of Matomo. Ook dit brengt echter zijn eigen bijzonderheden met zich mee.

• Verplicht vooraf instellen: Net als bij het opslaan via de testing tool, moet ook hier gezorgd worden dat de doelen vooraf ingesteld zijn. Het voordeel van het opslaan en analyseren met een webanalyse tool is dat veel zaken al vooraf ingesteld zullen staan. Zo worden (als het goed is) alle paginaweergaven al correct opgeslagen en als het een beetje meezit geldt dat ook voor belangrijke gebeurtenissen.
• Datakwaliteit vaak laag: Dit is niet zozeer een uitdaging specifiek voor online experimenten, maar eentje waarmee je wel te maken krijgt wanneer je jouw testen gaat analyseren via een webanalyse tool. In die situatie is het meer dan tevoren van belang dat zaken als dubbele transacties, bot filtering, en tracking instellingen correct staan ingesteld.
• Koppeling testing tool: Deze is van toepassing wanneer je niet gebruikmaakt van twee onderdelen uit dezelfde suite. Denk hierbij bijvoorbeeld aan VWO + Google Analytics of Adobe Target + Google Analytics, in plaats van Adobe Target + Adobe Analytics. Een onjuiste koppeling tussen de tools kan er voor zorgen dat de data niet correct in de webanalyse tool opgeslagen wordt.

Welke types A/B test doelen zijn er?

Of je de doelen nou op gaat slaan in de testing tool of in de webanalyse tool, je zult te maken krijgen met verschillende types doelen. De meestgebruikte zullen hieronder worden toegelicht.

Bezoek doelen

De meestgebruikte vorm zijn bezoek (pageview) doelen. Praktisch gezien zijn dit pagina's die bezocht worden door de bezoeker. Houd er bij het opslaan van deze doelen rekening mee dat je de juiste matching kiest. Zo vergelijkt een simple match meestal de URL waarbij eventuele parameters achter een ? worden genegeerd, terwijl een starts with alle URL's pakt die beginnen met een bepaalde reeks tekens. In complexere gevallen (zoals een matching van alle productpagina's) is het vaak nodig om te werken met reguliere expressies. Een handige tool om te controleren of je een dergelijke reguliere expressie goed hebt aangemaakt is Debuggex. Let er bij het bepalen van de URL's voor je bezoek doelen tevens op dat je bij voorkeur de website zelf als bron gebruikt. Webanalyse platformen tonen soms namens voorgefilterde data, waardoor je mogelijk bijvoorbeeld zaken als parameters over het hoofd zult zien.

Clicks doelen

Dit kan gaan om clicks op een brede range aan elementen. Denk bijvoorbeeld aan knoppen, links, iconen, afbeeldingen, sliders, etc. Om dergelijk elementen gericht te kunnen selecteren is het van belang om de juiste CSS selector in te zetten. Vergeet niet om deze selectors goed door te testen. Ik kom het namelijk regelmatig tegen dat selectors te specifiek (of juist niet specifiek genoeg) zijn ingesteld waardoor de clicks incorrect gemeten worden. Wanneer je de clicks wilt gaan analyseren in je webanalyse tool, dan is het waarschijnlijk de beste oplossing om deze op te slaan met behulp van je tag manager. Houd er ten slotte rekening mee dat het element waarvan je de clicks wilt meten al aanwezig moet zijn in de DOM op het moment dat je de eventListener aanmaakt.

Omzet doelen

In veel gevallen zullen omzet doelen al gemeten worden in de webanalyse tool, bijvoorbeeld met behulp van Enhanced Ecommerce. Om een omzet doel te meten in de testing tool dient er echter vaak extra code aan de snippet toegevoegd te worden op de bedanktpagina. Houd er, wanneer je de webanalyse tool gebruikt om naar de omzet doelen te kijken, rekening mee dat er geen dubbele transacties worden opgeslagen, en indien van toepassing, dat ook zaken als retouren, verzendkosten, en belasting goed verwerkt worden.

Conclusie

Het opslaan van testing doelen is een belangrijke voorwaarde voor goede experimenten. Maak een bewuste en onderbouwde keuze tussen het opslaan in de testing tool of in de webanalyse tool. Zorg er ten slotte voor dat de juiste types doelen geselecteerd worden, en dat de doelen correct zijn ingesteld.