Conversie Optimalisatie (CRO)

Conversie optimalisatie is een discipline binnen het vakgebied online marketing. Deze discipline wint sinds haar introductie nog steeds flink aan populariteit. In dit artikel geef ik een uitgebreid beeld van wat de betekenis van conversie optimalisatie is en wat een CRO specialist in een dergelijk proces voor je kan betekenen.

Wat is conversie optimalisatie (CRO)?

Wat is conversie optimalisatie? Wikipedia geeft de volgende definitie van conversie optimalisatie: "In online marketing is conversie optimalisatie, wat ook wel Conversie Ratio Optimalisatie (afkorting: CRO) genoemd wordt, een systeem voor het verhogen van het percentage van de bezoekers op een website die omgezet worden in klanten, of breder gezegd, die een gewenste actie ondernemen".

De term Conversion Rate Optimization (zoals CRO in het Engels wordt genoemd) is in 2007 geïntroduceerd door het Britse bedrijf Conversion Rate Experts (CRE). Al direct vanaf dat moment bestaat er echter twijfel in hoeverre de naam de lading van de werkzaamheden dekt die er onder vallen. Bij de introductie van de term gaf CRE namelijk zelf al aan dat zij een bredere scope in gedachten hadden, namelijk het optimaliseren van het hele bedrijf (en niet alleen de website). CRE: "Goed uitgevoerde CRO optimalisatie omvat de beoordeling van het hele proces van de eerste advertentie voor het genereren van leads tot en met de follow-up na de verkoop (dus de gehele customer journey). Het echte doel van CRO is om te bepalen welke delen van de verkooptrechter de grootste winsten opleveren met het minste werk.". Op die manier krijgt het optimaliseren van de conversie een bredere betekenis.

Customer Experience Optimization (CXO)

Naast de term conversie-optimalisatie worden er ook andere termen gebruikt om deze discipline te omschrijven. De meeste populaire alternatieve term die gebruikt wordt is Customer Experience Optimization (CXO). Hierbij wordt CXO dan vaak omschreven als een variant van CRO optimalisatie waarbij de gehele customer journey bekeken wordt (in plaats van alleen de website), eigenlijk net zoals dit ook al bij de introductie van de term was bedoeld.

In de praktijk zul je echter niet altijd een enorm verschil merken tussen een bedrijf dat 'CRO' doet of eentje die 'CXO' doet. Verschillende bedrijven zullen namelijk verschillende werkzaamheden wel of niet uitvoeren binnen deze discipline. Zo zal bijvoorbeeld soms gebruikersonderzoek of strategie wel onder CXO vallen maar niet onder CRO, terwijl een ander bedrijf een opdeling zal hebben tussen CRO en UX, en optimaliseert weer een ander bedrijf wel degelijk de gehele customer journey, maar noemt het deze discipline voor de herkenbaarheid toch nog gewoon CRO. Anders gezegd, elk bedrijf geeft er zijn eigen betekenis aan.

Waarom conversie optimalisatie

Organisaties werken hard om hun doelen beter te bereiken. Dit zal in veel gevallen gaan om het realiseren meer omzet, maar bijvoorbeeld ook een groter aantal donaties, of een verhoogd bewustzijn voor een bepaalde kwestie zijn veelvoorkomende doelen. Simpel gezegd heb je als bedrijf twee aspecten waaraan je kunt werken om de online doelen beter te bereiken. Dit zijn:

1. Het verhogen van het aantal bezoekers op je website of webshop.
2. Meer van de bezoekers op de website converteren.

Waarom is conversie optimalisatie belangrijk?

Voorheen richtten bedrijven zich vooral op het verhogen van het aantal bezoekers door bijvoorbeeld bezig te gaan met zoekmachine optimalisatie (SEO) of online te adverteren (SEA, display). Steeds meer organisaties beginnen echter in te zien alleen maar investeren in dit ene aspect niet de meest effectieve besteding van het online marketing budget is. Dit valt namelijk te vergelijken met het constant blijven bijvullen van een lekkende emmer. Wanneer je echter iets minder geld zou besteden aan het telkens bijvullen van de emmer en wat meer geld aan het dichten van de gaten, dan zou er op termijn meer water in de emmer achterblijven. Dat is precies waarom conversie optimalisatie zo belangrijk is.

Effect van CRO op de omzet

De conversieratio van je website of webshop is het aantal bezoekers dat een bepaalde actie onderneemt, gedeeld door het totale aantal bezoekers. Wanneer je aan die formule vervolgens de gemiddelde orderwaarde (AOV) toevoegt, dan kun je het effect van conversie optimalisatie op je omzet uitrekenen.

Belangrijk ook om hierbij te beseffen is dat wanneer deze 5% extra bezoekers via advertenties worden aangekocht, de kosten om deze omzetstijging te realiseren maandelijks terug zullen blijven komen. Dat in tegenstelling tot een stijging die wordt gerealiseerd door het verhogen van de conversieratio. Hieraan zie je dan ook direct dat website optimalisatie vanuit een breder perspectief dan slechts één afdeling bekeken moet worden om zo goed mogelijk van de voordelen gebruik te maken. Voorgaande betekent echter niet dat conversies optimaliseren een eenmalige actie is die je uitvoert (en betaalt) waarna je er niet meer naar om hoeft te kijken. Zo toont onderzoek van Econsultancy aan dat 'high performers' veel vaker een gestructureerd CRO proces hebben dan 'mainstream performers' (52% vs. 28%).

Organisatie

Elke organisatie is natuurlijk uniek. Net als de rol van HR verschillend is bij een organisatie met 100 of 10,000 medewerkers, geldt hetzelfde voor de rol van conversie-optimalisatie. Belangrijk om hierbij te beseffen is echter dat CRO de steun van andere afdelingen nodig heeft om tot goede resultaten te kunnen komen. Een goede onderlinge samenwerking en overkoepelende strategie is dan ook van groot belang.

Freelancer, bureau, of in-house

Bij wie ligt de verantwoordelijkheid voor CRO optimalisatie binnen een bedrijf? Dit hangt af van diverse factoren, waaronder het formaat van het bedrijf, de digitale maturity, en het beschikbare budget. In veel gevallen zal het echter gaan om een combinatie tussen onderstaande:

• In-house online marketeer: In veel gevallen start een conversion optimization traject binnen een bedrijf met een in-house online marketeer die CRO zelf als extra taak erbij oppakt of toebedeeld krijgt vanuit het management. Het niveau van het optimaliseren is vaak relatief laag, net als de hoeveelheid tijd die hiervoor beschikbaar is. Eén van de voordelen hiervan is dat je als one man team snel kunt schakelen.
• Freelancer of bureau: Nadat het belang van conversieoptimalisatie binnen een bedrijf duidelijk is geworden, gaat men in veel gevallen over tot het inhuren van een freelance conversie optimalisatie specialist of CRO bureau. Doordat zij gespecialiseerd zijn, zal dit over het algemeen zorgen voor een flinke stijging in het niveau van optimaliseren. Uiteraard is de effectiviteit van de freelancer of het bureau nog wel steeds afhankelijk van de ondersteuning vanuit het bedrijf.
• In-house specialist of team: Een volgende stap is in veel gevallen het inhuren van een in-house specialist en/of het opzetten van een in-house team. Meestal gebeurt dit in samenwerking met de externe partij waarmee op dat moment wordt samengewerkt. De rol van de externe partij verschuift daarmee langzaam van uitvoerend naar adviserend.
• Centre of excellence: De laatste stap in dit proces is om CRO tot een center of excellence te maken. Daarbij wordt de mogelijkheid om aspecten binnen het bedrijf te valideren of testen dan het 'product' van dit team in plaats van dat zij het optimaliseren alleen zelf uitvoeren.

Rollen binnen een CRO team

Binnen een CRO team dienen er meerdere rollen vervuld te worden. Zeker bij organisaties die nog minder lang bezig zijn met conversieoptimalisatie, zul je echter zien dat sommige rollen nog slechts beperkt invulling hebben, of dat er meerdere rollen door één persoon vervuld worden.

• CRO manager: Een CRO manager is iemand die er voor zorgt dat de specialisten goed hun werk kunnen doen. Ook zorgt hij of zij vaak voor het contact met andere teams en/of met de externe klant. Ten slotte draagt de CRO manager vaak zorg voor de planning en in veel gevallen ook het projectmanagement.
• Conversie specialist: Afhankelijk van hoe groot het team is, kan/moet deze persoon meerdere rollen tegelijk vervullen. Sterker nog, in kleine CRO teams vervult deze specialist soms alle inhoudelijke rollen tegelijk. Wanneer er bijvoorbeeld geen beschikking is over een developer binnen het CRO team, dan dient die rol ook vervuld te worden door deze specialist. Binnen grotere teams houdt een CRO specialist zich vaak voornamelijk bezig met A/B testing. Denk aan het bijhouden van de A/B testing roadmap, het opstellen van hypothesen, het opzetten van A/B testen, etc.
• Webanalist: Degene die deze rol vervuld houdt zich bezig met zaken als tagging, implementatie tools, click tracking, het opzetten van dashboards, etc. In sommige gevallen zal de webanalist echter (ook) als een data scientist fungeren en zich meer bezig houden met voorspellende modellen voor bijvoorbeeld aanbevelingen.
• Psycholoog: Hij of zij zal inzichten aanleveren vanuit de psychologie. Denk hierbij aan recente onderzoeken die relevant zijn voor een bepaalde hypothese of aan inzichten over het gedrag van bepaalde doelgroepen.
• Developer: Wanneer er zaken gebouwd dienen te worden dan wordt deze persoon ingeschakeld. Hij of zij zal bijvoorbeeld het bouwen van A/B testen op zich nemen, net als het uitwerken van een complexe personalisatie.

Samenwerking met andere teams

In de meeste gevallen werken er teams vanuit meerdere disciplines tegelijk aan het verbeteren van een website. Door te zorgen voor een goede samenwerking tussen deze teams ontstaat er zo min mogelijk frictie en kunnen de best mogelijke resultaten behaald worden voor het bedrijf.

• Marketing: Veel bedrijven werken met een marketingkalender. Hierop zijn ruim van tevoren de geplande campagnes uitgezet waarmee je rekening kunt houden bij het optimaliseren van de website. Uiteraard zullen er ook altijd nog ongeplande campagnes of acties zijn, zorg er daarom voor dat je hiervan op een vaste plek op de hoogte gehouden wordt.
• UX: Is er sprake van een losse UX-afdeling naast de personen die met het optimaliseren van conversies bezig zijn? Zorg er dan voor dat je goed met hen afstemt welk gebruikersonderzoek er op de planning staat.
• Design: Bij sommige bedrijven is er sprake van strakke regels omtrent de huisstijl. Denk hierbij aan kleurgebruik, lettertypes, of zelfs onderlinge afstanden tussen elementen. Door al vroeg rekening te houden met deze regels voorkom je dat je achteraf mogelijk grote aanpassingen aan A/B tests moet doorvoeren om deze in lijn te krijgen met de huisstijl.
• Development: Wordt er met een bepaalde werkwijze gewerkt, zoals Agile, Scrum, of sprints? Is het voor bepaalde testen nodig om data uit de backend te krijgen, of wordt er misschien gewerkt met serverside testing? Waar is de release kalender te vinden? Voor dergelijke vragen is een goede samenwerking met de developers van groot belang.
• Management: Zorg ervoor dat het management zo goed mogelijk op de hoogte is van de behaalde resultaten. Ook kan het helpen om in gesprek te gaan over de mogelijkheden van CRO optimalisatie die momenteel nog onbenut blijven. Denk bijvoorbeeld aan het valideren van nieuwe features voordat ze ontwikkeld worden door de developers.

Verwachtingen goed managen

Naast een goede samenwerking is ook het managen van verwachtingen een belangrijk onderdeel. Zijn er bijvoorbeeld targets gesteld over de hoeveelheid testen die gedraaid dienen te worden? Of verwachtingen over een bepaalde stijging in de conversieratio of omzet? Doelen die door CRO bereikt dienen te worden binnen een bepaalde periode? In veel organisaties staat 'CRO' (zeker in de beginperiode) op relatief glad ijs. Zorg er daarom voor dat je goed op de hoogte bent wat de verwachtingen zijn en stel deze bij waar mogelijk.

Percentage A/B test winnaars

De zeer ervaren expert in online experimenten Ronny Kohavi heeft de volgende uitspraken gedaan over zijn tijd bij Microsoft.

Ronny Kohavi - Vice President at AirBNB

"1/3 van de ideeën gaven een positieve en statistisch significante uitslag,
1/3 van de ideeën waren niet statistisch significant verschillend,
1/3 van de ideeën gaven een negatieve en statistisch significant uitslag."

Houd er hierbij wel rekening mee dat op verder geoptimaliseerde platformen het percentage A/B test winnaars met voldoende significantie vaak slechts uitkomt rond de 10-20% positief. Een ander belangrijk punt hierbij is dat er natuurlijk ook veel geleerd kan worden van testen die geen significante 'winnaars' zijn!

Onderzoek

Om tot goede hypotheses te komen voor mogelijk optimalisaties van de website, is gedegen conversie optimalisatie onderzoek van groot belang. Met dat onderzoek zorg je er namelijk voor dat er niet zomaar 'leuke ideeën', best practices, of algemene tips getest worden, maar dat deze ideeën voortkomen (mogelijke) wensen of behoeftes van de bezoekers. Een ander voordeel van een CRO-proces gebouwd op onderzoek is dat het minder waarschijnlijk wordt dat de HiPPO teveel invloed krijgt op wat er getest gaat worden.

Kwantitatief onderzoek

Onderzoek dat kwantitatief genoemd wordt kenmerkt zich door hoge aantallen datapunten, anonieme data, en data die gericht is op het beantwoorden van vragen die beginnen met wat, waar, en hoe (en niet met wie of waarom).

Statistieken

Valide en betrouwbare statistieken over welke acties bezoekers ondernemen op de website zijn onmisbaar. Denk hierbij aan data over gebruikers, paginaweergaven, gebeurtenissen, doelen, transacties, etc. Door deze gegevens op te slaan in tools als Google Analytics of Adobe Analytics kun je inzicht krijgen over hoe de website verbeterd kan worden. Van groot belang hierbij is dat de datakwaliteit van de statistieken op orde is. Wanneer dit namelijk niet het geval is, dan ben je conclusies aan het trekken op basis van incorrecte data.

Vanwege de kritieke rol die webstatistieken spelen in een succesvol conversie optimalisatie proces is het belangrijk dat ten minste één teamlid verdiepende kennis hiervan heeft. Het geniet echter de voorkeur dat meerdere (of zelfs alle) teamleden deze kennis bezitten zodat er op niveau over bevindingen en vraagstukken geschakeld kan worden.

Bezoekersgedrag

Naast bezoekersgedrag in de vorm van cijfers en grafieken kan het ook van helpen om dit gedrag visueel te kunnen waarnemen. Tools als Hotjar kunnen je hierbij helpen. Binnen dit soort tools kun je bijvoorbeeld klikgedrag visueel weergeven aan de hand van zogenaamde heatmaps, movement maps, en scroll maps. In essentie zijn dit screenshots van een bepaalde pagina op de website (zoals de homepage, categoriepagina, productpagina, winkelwagen, of checkout) waarover een laag heen is gelegd waarop zaken als clicks, muisbewegingen, en scrolls zichtbaar gemaakt worden.

Diverse tools bieden hiernaast tegenwoordig ook screen recordings aan. Daarmee zie je hoe een bezoeker over de website navigeert, welke delen van de website worden bekeken, welke filters op een e-commerce webshop worden gebruikt, etc. Doordat het hier gaat om bewegend beeld kun je vaak een veel beter idee krijgen van hoe een bepaalde kwestie ontstaat dan wanneer je alleen naar statische data of heatmaps aan het kijken bent.

Kwalitatief onderzoek

Onderzoek dat kwalitatief genoemd wordt kenmerkt zich door lage aantallen datapunten, persoonlijke data, en data die gericht is op het beantwoorden van vragen die beginnen met wie en waarom (en niet met wat, waar, of hoe).

Gebruikerstesten

Deze onderzoeksmethode (die ook wel user testing wordt genoemd) is een populaire methode om verdiepende inzichten over het gedrag en de mindset van de doelgroep te krijgen. Bij user testing worden vaak panels gebruikt waaruit personen uit de doelgroep worden geselecteerd. Hen wordt dan gevraagd om bepaalde opdrachten op een website uit te voeren (zoals het aankopen van een bepaalde product) en daarover enkele vragen te beantwoorden. Het beeldscherm van de deelnemer wordt hierbij opgenomen, net als hun stem, en in sommige gevallen zelfs een video van hun gezicht. De combinatie van al deze input zorgt ervoor dat je meer leert over hoe de doelgroep een bepaalde afdeling, optie, filter, formulier, etc. ervaart. Bedrijven als Userfeel of het Nederlandse UserSense kunnen helpen om dit type gebruikersonderzoek mogelijk te maken.

Geschreven feedback

Deze methode kent veel verschillende vormen, met bijbehorende voordelen en nadelen. De geschreven feedback kan namelijk variëren van een simpele exit poll met één vraag tot uitgebreide vragenlijsten. Ook reviews die achtergelaten worden door bestaande klanten vormen een belangrijk bron van geschreven feedback. Houd er bij deze geschreven feedback rekening mee dat de vraagstelling vaak van groot belang is. Door een vraag net op een andere manier te stellen (of een andere trigger te gebruiken voordat een vraag getoond wordt) kan het niveau van de antwoorden flink verschillen.

Interviews

Dit is waarschijnlijk de methode waarmee de meest verdiepende inzichten verkregen kunnen worden. Belangrijk daarbij dan ook meteen is dat dit ook echt om één persoon gaat die ergens op een bepaalde manier over denkt. Aan die kwestie kan echter natuurlijk gewerkt worden door een grotere hoeveelheid interviews te voeren en te bekijken in hoeverre er consensus in de reacties te vinden is. Probeer tijdens het voeren van interviews ook rekening te houden met psychologische valkuilen zoals de value-action gap en choice-supportive bias.

Website audits

Naast gebruikersonderzoek kun je ook een expert analyses van je website uit laten voeren. Dit zijn vaak efficiënte trajecten waar snel een grote hoeveelheid verbeterpunten voor de website uit naar voren kunnen komen. Afhankelijk van het specifieke type website audit dat uitgevoerd wordt, kan het gaan om brede analyses of juist onderzoek gericht op een specifiek aspect van de website.

Expert review

Bij een expert review bekijkt een conversie-optimalisatie expert uitgebreid een bepaalde website. Hij of zij zal hierbij gebruikmaken van een breed scala aan kennis, tools, en ervaringen. Veel organisaties lijken te verwachten dat de webbouwer ook over dergelijke kennis beschikt en deze dan ook al mee heeft genomen in het bouwen van de website. Helaas blijkt is de praktijk dat dit vrijwel nooit het geval is. Sommige webbouwers zullen meer kaas gegeten hebben van het optimaliseren van een website voor conversie dan anderen, maar over het algemeen is de kennis helaas erg beperkt.

Competitieve analyse

Wanneer er een competitieve analyse wordt uitgevoerd dan kijkt een expert hoe de website van concurrenten zich verhouden tot de website die wordt geanalyseerd. Is er bijvoorbeeld sprake van andere unique selling points, wordt er meer informatie over de diensten verstrekt, zijn er meer foto's beschikbaar, etc.

Deze input van wat de concurrenten doen kan meegenomen worden in de ideeën over hoe de eigen website verder geoptimaliseerd kan worden. Nu is het vaak zo dat concurrenten ook niet per se weten waar ze mee bezig zijn, maar alleen al ter inspiratie kan dit erg waardevolle informatie opleveren.

Experimenten

Geen artikel over conversie-optimalisatie is compleet zonder het ook uitgebreid over experimenten te hebben. De meestgebruikte term voor dergelijke experimenten is A/B testing maar ook andere (gerelateerde) termen als split testing, multivariate testing, en online controlled experiments komen voorbij.

Onderstaande punten geven een uitgebreide toelichting van diverse zaken die gerelateerd zijn aan online experimenten, maar is geenszins een compleet overzicht. Wanneer je interesse hebt in meer verdieping over dit onderwerp dan kan ik van harte het boek Trustworthy Online Controlled Experiments aanraden.

Testing tools

Er is een brede range aan tools beschikbaar om A/B testen op een website te draaien. Bekende voorbeelden zijn VWO, Optimizely, AB Tasty, en Convert. Elk van deze tools heeft zijn eigen voordelen en nadelen.

Naast de eerder genoemde tools die je out of the box in kunt zetten is het natuurlijk ook mogelijk om zelf een eigen testing tool te bouwen. Dit kan variëren van een simpel stukje code dat je inlaadt in Google Tag Manager om bezoekers op te splitsen tot enorm complexe A/B testing suites die effectief de productie website vervangen. Houd er rekening mee dat het bouwen van een complete A/B testing tool bijzonder complex is en pas als serieuze optie overwogen zou moeten worden wanneer er sprake is van een sterk volwassen CRO traject en flinke resources om een dergelijk project te kunnen helpen slagen.

Clientside of serverside?

Clientside testing tools worden ingeladen middels een stuk JavaScript dat op de website, webshop of landingspagina wordt geplaatst. Met deze JavaScript worden vervolgens de bezoekers opgedeeld en de varianten toegepast. Het grote voordeel van clientside tools is dat deze makkelijker te implementeren zijn en onafhankelijk van een bepaalde server setup en de programmeertaal van de website gewoon goed werken. Het grote nadeel van clientside tools is echter dat zij de laadtijd van de website vaak vertragen en dat er zogenaamde flickering op kan treden. Hierbij is dan de control versie van de website tijdelijk zichtbaar voordat veranderingen vanuit de variant worden doorgevoerd.

Serverside testing tools vereisen echter dat een groot deel van de handelingen zoals het opsplitsen van bezoekers over de varianten door code van de website wordt afgehandeld. Hierbij wordt de serverside testing tool dan met name nog gebruikt als middel om testen te analyseren. Net als bij de clientside testing tools verschilt de exacte functionaliteit die wel of niet geboden wordt echter flink per tool. Het grote voordeel van serverside testing tools is dat er hier geen sprake meer is van een impact op de laadtijd (en ook geen flickering meer). Tevens kun je bij serverside testing ook data vanuit de backend gebruiken om bijvoorbeeld het testen van prijzen veel eenvoudiger te maken. Het grote nadeel van serverside testing is echter dat de implementatie vele malen moeilijker is dan met clientside testing tools. Mijn advies zou dan ook zijn om hier niet aan te beginnen tijdens je beschikking hebt over serieuze capaciteit aan developers.

Roadmap voor experimenten

Om te zorgen dat er een gestructureerde aanpak komt in het conversieoptimalisatie proces, is een roadmap een belangrijk onderdeel. Hierop staan namelijk details over alle experimenten uit het heden, verleden, en toekomst. Voorbeelden van hoe je deze data in kunt zetten zijn het aanmaken van alerts aanmaken wanneer een experiment live dient te gaan of de testresultaten segmenteren op bepaalde kenmerken.

Spreadsheet tools zoals Google Sheets worden veel gebruikt voor het opzetten van een roadmap, maar ook hybride spreadsheet-databases zoals AirTable komen regelmatig voor. Daarnaast zijn er nog gerichte CRO management tools zoals Effective Experiments.

Goede hypothese opstellen

Gedegen experimenten zijn gebouwd op goede hypotheses. Zoals eerder genoemd komen deze hypotheses bij voorkeur zoveel mogelijk voort uit eerder onderzoek. Ook de structuur van de hypothese zelf kan echter bijdragen aan hoe waardevol deze gaat zijn. Om te komen tot een goed opgebouwde hypothese heeft CRO-veteraan Craig Sullivan in samenwerking met vele andere CRO experts twee hypothese kits opgesteld.

Craig Sullivan - Owner at OptimiseOrDie

"1. Omdat we (data/feedback) hebben geobserveerd
2. Verwachten we dat (verandering) zal zorgen voor (impact)
3. We gaan dit meten met behulp van (data punt)"

Het nut van A/A testing

Met een A/A test kun je de validiteit en betrouwbaarheid van je testing tool onderzoeken. Het idee van een A/A test is namelijk dat je een experiment live zet, maar dan zonder wijzigingen door te voeren aan de variant. Als de tool zijn werk goed doet (en je genoeg data verzameld hebt) dan zou dit moeten zorgen voor een niet-significant verschil tussen de control en de variant. Wanneer er namelijk wel een significant verschil is (ondanks dat er geen veranderingen in de variant zijn doorgevoerd die daarvoor zouden kunnen zorgen), dan kan dit een indicatie zijn dat er iets is misgegaan met de implementatie van de testing tool.

A/A testen worden veel gebruikt aan de start van een CRO traject, maar beter zou zijn om deze met enige regelmaat te draaien. Het grootste probleem met A/A testing is dat zij wel zorgen voor meer 'geteste bezoekers' wat bij tools met een bezoekersquota kostbaar kan zijn.

Een A/B test opzetten

Bij het goed opzetten van een A/B test komt veel kijken. Denk bijvoorbeeld aan het schrijven van de code voor de variaties, maar ook zaken als het kiezen van de juiste traffic allocation, het opstellen van een solide hypothese, de manier waarop het experiment getriggerd dient te worden, aanvullende click tracking, de KPI's waarop het experiment beoordeeld gaat worden, het gebruik van asynchrone blokken code, de opbouw van de URL's, koppelingen naar de statistieken tool, uitgebreide quality assurance, omgaan met statistische outliers, etc.

Helaas laten de drag-and-drop editors van de populaire testing tools het doen overkomen alsof het uitvoeren van een valide en betrouwbare A/B test een peulenschil is. Helaas is dat bij moderne websites (die vaak delen van de website dynamisch inladen met JavaScript en responsive werken op meerdere schermformaten) een vertekening van de realiteit. Wanneer je een A/B test opzet zonder verdiepende kennis van bovenstaande aspecten, dan zal de test vrijwel zeker resultaten opleveren die niet valide en betrouwbaar zijn. Het gevolg hiervan is dat je beslissingen gaat nemen op basis van 'onzin data' waardoor je nog verder van huis bent dan gewoon te gokken of een wijziging gaat zorgen voor een verbeterde conversie of niet.

Experimenten analyseren

Nadat er voldoende conversies binnen zijn dien je een experiment stop te zetten en de resultaten te analyseren. Hier ontstaan dan echter direct een boel vragen:

• Wanneer zet je een A/B test stop? Nadat er voldoende data is verzameld. Als vuistregel heb je minimaal 100 conversies per variant nodig.
• Hoeveel dagen moet een experiment minimaal draaien? De vuistregel is dat een experiment minimaal 7 dagen gedraaid moet hebben om eventuele effecten die zijn gekoppeld aan bepaalde weekdagen uit te kunnen sluiten. Bij websites die producten of diensten met een lange sales cycle hebben ligt dit echter complexer, omdat daar de conversies als gevolg van het experiment pas na een langere periode plaatsvinden.
• Hoeveel bezoekers heb je minimaal nodig? Het minimale aantal bezoekers voor succesvolle experimenten is sterk afhankelijk van de conversie ratio. Wanneer namelijk 5 van de 100 bezoekers converteren heb je veel minder bezoekers in een experiment nodig dan wanneer dit er 1 van de 100 is.
• Hoeveel conversies per maand heb je nodig? De vuistregel hierbij is dat je minimaal 1.000 macro conversies per maand nodig hebt. Wanneer je namelijk flink minder conversies hebt dan zul je zeer onregelmatig winnende testen hebben. Hierdoor verdwijnt vaak al gauw het enthousiasme en de steun voor het testprogramma.

Het analyseren van experimenten gebeurt meestal in een statistieken tool zoals Google Analytics. Door de varianten van de test als segmenten boven de rapportages te hangen, kun je eenvoudig de verschillen bekijken. Welke rapporten je vervolgens gaat bekijken is sterk afhankelijk van de testing doelen die je hebt opgesteld. In veel gevallen kunnen rapporten als 'Apparaatgroepen' en 'E-commerce' echter waardevolle inzichten geven over het experiment.

Frequentist of Bayesian

Experimenten kunnen met verschillende statistische methodes geanalyseerd worden. Vrijwel alle testing tools gebruiken tegenwoordig (varianten van) de frequentist of Bayesian benadering. Over de verschillen tussen deze benaderingen zijn lange artikelen geschreven zoals Bayesian vs. Frequentist. Persoonlijk ben ik echter voorstander van de Bayesian benadering omdat deze beter aansluit bij de zakelijke context waarin A/B testen worden uitgevoerd (dit is tegenstelling tot de wetenschappelijke wereld waaruit de frequentist benadering is ontstaan). Conversieoptimalisatie expert Annemarie Klaassen heeft een uitgebreid artikel geschreven over Bayesiaanse A/B test analyse wat ik dan ook zeker aanraad als je meer informatie over dit onderwerp wilt lezen.

Personalisatie

In veel gevallen is personalisatie niet veel meer dan het live zetten van een variant voor een bepaald segment van de bezoekers. Voorbeelden hiervan zijn ingelogde bezoekers, bezoekers uit een bepaalde regio van het land, bezoekers die al bepaalde pagina's hebben bekeken, bezoekers die via een bepaald kanaal de website hebben bereikt, etc. In veel gevallen zal een personalisatie voortkomen uit de analyse van een A/B test. Hieruit komt dan naar voren dat een bepaalde wijziging een significant positief effect op de beoogde doelen heeft, waarna deze variant als personalisatie live gezet kan worden voor dat segment.

Sites als Booking, Netflix en AirBNB brengen het concept van personalisatie echter tot een hoger niveau. Zij kunnen namelijk (met de grote hoeveelheden data die zij over hun gebruikers hebben) bijna volledig unieke ervaringen per gebruiker creëren. Helaas is dit voor vrijwel alle 'normale' websites niet mogelijk.

Conclusie

Conversie optimalisatie is een potentieel zeer krachtig middel om te werken aan de doelen van je bedrijf. Zoals bovenstaande artikel laat zien, spelen hier echter een groot aantal aspecten mee waarmee rekening gehouden dient te worden. Wanneer je er echter voor zorgt dat je voldoende informatie vergaart over iedere stap (en waar nodig experts inschakelt) dan verwacht ik zeker positieve dat er resultaten uit het CRO traject zullen voortkomen.