A/B Testen Tijdens Feestdagen of Aanbiedingen

Zou je meer testen willen draaien in minder tijd met even betrouwbare resultaten? Of misschien gewoon meer omzet willen halen uit de feestdagen? Je kunt dit beide doen door te profiteren van de natuurlijke stijging en daling in verkeer veroorzaakt door feestdagen en (offline) aanbiedingen.

In plaats van je testen te stoppen gedurende deze tijden, kun je ze door laten draaien. Sterker nog, bereid je voor op dergelijke pieken in verkeer, en zorgen dat er specifieke testen zijn opgezet voor iedere feestdag, evenement, promotie of campagne!

Waarom testen gedurende feestdagen of promoties

Een van de meest belangrijke factoren die bepaalt wat de geschatte tijd is die een A/B test dient te draaien is de dagelijkse hoeveelheid bezoekers. Door je tijdens te draaien tijdens feestdagen en promoties zul je verzekerd zijn van meer dan voldoende bezoekers. Je kunt dit verkeer ook gebruiken om de doorlooptijd van je testen te verkorten. Ook kun je zelfs aanvullende testen draaien.

Testen op specifieke feestdagen

Los van dat je het extra verkeer kunt gebruiken om meer testen te draaien, zou je ook kunnen overwegen om testen op te zetten gedurende specifieke feestdagen. Bijvoorbeeld: converteert je website beter wanneer je een rood-en-groen thema gebruikt rond Kerstmis? Of misschien kan een rood kerstman in de rechterbovenhoek van je website bezoekers overtuigen om meer te kopen? Hoewel de resultaten van deze test mogelijk wel, en mogelijk niet, van toepassing kunnen zijn op andere feestdage (hierover later meer), zullen ze vrijwel zeker van toepassing zijn op dezelfde feestdag volgend jaar. Om hier zeker van te zijn kun je de test altijd opnieuw draaien voor een klein percentage van je verkeer in het volgende jaar zodat je kunt zien of de resultaten nog steeds hetzelfde zijn.

Hoge bezoekersaantallen voorspellen

Sommige pieken in verkeer (zoals de veroorzaakt door viral content hits) zijn bijna onmogelijk te voorspellen. Echter, jaarlijks terugkerende gebeurtenissen zoals Black Friday of kerstmis kun je ruim vantevoren zien aankomen. Probeer de volgende technieken te gebruiken om tijdsperiodes te voorspellen waarin je hoge volumes van verkeer en verkopen kunt verwachten. Wanneer je ruim vantevoren weet wanneer er hoge bezoekersaantallen gaan zijn, zal je dit in staat stellen om experimenten op te zetten en zorgen dat zij vlekkeloos verlopen.

Feestdagen en events

Feestdagen en events verwijzen niet alleen naar (inter)nationale feestdagen maar ook naar specifieke events zoals Black Friday en Cyber Monday. Los van deze generieke feestdagen en events kun je ook branche-gerelateerde zaken in de gaten houden. Voorbeelden hiervan zijn bijvoorbeeld het WK voetbal of het Eurovisie Song Festival.

Marketing kalender

De marketing afdeling van je bedrijf zal in staat zijn om je van deze informatie te voorzien. Door gebruik te maken van marketing data zul je weten wanneer grote marketing campagnes door je bedrijf gelanceerd worden, en zul je in staat zijn om pieken in verkeer met grote accuratesse te voorspellen.

Vorige jaren

Door bestaande data te analyseren zoals bijvoorbeeld de demografie van terugkerende klanten of verkoopdata in Google Analytics, zou je in staat moeten zijn om cyclische pieken in verkeer te zien. Hoewel de meeste van deze pieken waarschijnlijk gebonden zijn aan een specifieke gebeurtenissen (zoals Black Friday, Moederdag, Pasen) of een aanbieding, zijn sommige pieken mogelijk onverwacht. Los van dat je extra A/B tests kunt draaien in deze periode, zou je ook kunnen overwegen aanvullende promoties op te zetten gevonden aan welke gebeurtenis er zorgt voor de pieken in verkeer.

Hoe minimaliseer je het risico?

In deze tijden van hoge bezoekersaantallen staat er veel op het spel. Hoe kun je de risico's minimaliseren dat bezoekers een slecht functionerende site zien of dat je website een dalend aantal conversies tegemoet gaat?

Dubbele kwaliteitscontrole

Natuurlijk moet je altijd degelijke kwaliteitscontrole doen voor je testen. Echter, met de risico's die zijn verbonden aan conversie testen gedurende de feestdagen, raad ik aan dat je nog een extra ronde van kwaliteitscontrole aan je gebruikelijke workflow toevoegt. Let er op dat je de variaties op zo veel mogelijke verschillende apparaten en browsers bekijkt, zorg ervoor dat verschillende personen de variaties goedkeuren, etc.

Coördineer tussen afdelingen

Zorg er tevens voor dat je jouw testen coördineert met verschillende afdelingen in je organisatie. Je wilt namelijk bijvoorbeeld niet dat een specifieke campagne live gaat die enige wijzigingen in een test variatie lijnrecht tegenspreekt.

Verspreid de experimenten

Door er voor te zorgen dat je de experimenten over de tijd uitspreidt en verdeeld over de verschillende pagina's van je website, kun je twee vliegen met één klap vangen. Allereerst zul je het aantal testen dat je onafhankelijk van elkaar kunt draaien maximaliseren. Zoals bekend dien je namelijk meerdere experimenten die draaien op dezelfde pagina normaal gesproken uit te voeren als een multi-variate test (MVT). Ten tweede verspreidt je het risico dat bij dergelijke testen komt kijken. Omdat je niet al je bezoekers elk type pagina bekijken, zullen delen van hen niet lastig gevallen worden door een kapotte of slecht presterende variatie in een experiment. Zorg er wel voor dat verschillende experimenten elkaar niet tegenspreken (denk bijvoorbeeld aan tegengestelde boodschappen die worden toegevoegd).

Begin klein

Probeer je experiment eerst te draaien op een klein gedeelte van je verkeer. Er van uitgaande dat je voldoende verkeer hebt op je website, zou je bijvoorbeeld met 10% kunnen beginnen. Nadat je ~100 conversies in alle varianten hebt kun je besluiten de toewijzing van verkeer op te hogen. Een opvallend hoog (negatief) verschil in conversie ratios tussen variaties (of in bepaalde segmenten zoals apparaten of browsers) zou aanvullende kwaliteitscontrole kunnen betekenen.

Stop niet te vroeg

Let er op testen echter niet te vroeg af te breken, dit zou namelijk kunnen leiden tot een toename in Type 1 en Type 2 fouten. Tevens, hoewel het technische mogelijk is om een lopend experiment te wijzigen, is het sterke advies om dit niet te doen.

Bekrachtig anderen

Een andere manier om het risico te minimaliseren is door andere medewerkers van je organisatie te bekrachtigen. Je zou bijvoorbeeld een junior conversie optimalisatie specialist toegang tot je testing tool kunnen geven. Hij/zij zou dan alleen de toegang hebben om een experiment te pauzeren. Wanneer er dan iets mis gaat met een experiment en jij bent zelf niet in staat deze te pauzeren (bijvoorbeeld omdat je een lange vlucht hebt of ziek bent geworden) dan zou je collega de test tijdelijk stop kunnen zetten.

Hou de resultaten in de gaten

Hou de conversies van verschillende segmenten op je site goed in de gaten. Zorg ervoor dat je actief zowel de resultaten van je test als de website in zijn geheel monitort. Probeer bijvoorbeeld ook aangepaste dashboards te maken gebaseerd op je web analytics informatie zodat je daarmee de conversies van verschillende segmenten op je site in de gaten kunt houden. Dit zal je in staat stellen problemen zo snel mogelijk te zien en dat je in kunt grijpen als het mis gaat.

Conclusie

Gedurende de feestdagen zijn zowel de kansen als de risico's van conversie testen hoog. Door er voor te zorgen dat de risico's geminimaliseerd worden bijvoorbeeld door te gebruik te maken van de beschreven technieken, kun je van de voordelen profiteren die testen tijdens deze gezellige dagen brengen.