A/B-testen is een onmisbaar middel voor iedere webshop die structureel de digitale omzet wil verhogen. Variant A met variant B vergelijken klinkt heel simpel, maar de uitvoering blijkt toch vaak ingewikkeld te zijn.
A/B-testen is tegenwoordig erg populair en tools maken het eenvoudig om een test op te zetten. Er zijn echter een aantal elementen waarmee u rekening dient te houden bij de opzet van een A/B-test. Niet correct een dergelijke test opzetten betekent dat u resultaten gaat interpreteren die niet weergeven wat u wilde meten. Een verkeerde conclusie is dan snel getrokken.
Tijdens haar presentatie legde ISM'er Mayke van de Ven uit wat het belang is van A/B-testen en hoe u een test correct opzet.
1. Mayke van de Ven
Webanalytics & Conversie Optimalisatie
Consultant
De aanpak voor succesvolle A/B-testen
2. Mayke van de Ven – Conversie Optimalisatie Consultant
Tilburg University
Msc. Economic
Psychology
Coca Cola Enterprises
Shopper Marketeer
Lead Today
Junior Online Markteteer
ISM eCompany
Webanalytics & Conversie
Optimalisatie Consultant
• Werkt o.a. voor
60%
CRO, Usability & Psycholoog
m.vandeven@ism.nl
+316 12 09 24 92
3. Agenda
1. Wat is A/B-testen en waarom is het zo belangrijk?
2. Wat ga je A/B-testen?
3. Hoe zet je een succesvolle A/B-test op?
4. Wat je niet mag vergeten!
5. Vragen
4. 1. Wat is A/B-testen?
En waarom is het zo belangrijk?
17. Kun je dan niet achteraf het effect van de wijziging achterhalen?
April
Conversiepercentage 1%
+ 50%??
ORIGINEEL A VARIANT B
Mei
Conversiepercentage 1.5%
18. Perioden vergelijken geeft géén geisoleerd effect
Uitsluiten
✓ Sale
✓ Wijzigingeninonline/offlinecampagnes
✓ Wijzigingeninassortiment
✓ Seizoensinvloeden
✓ Feestdagen
✓ Overigewijzigingenaandewebshop
24. 24
Inzichtenverzamelen
Benchmark vs Fred: relatief lage visitor to cart
Benchmark: percentage bezoek naar
winkelmand op dekstop hoger dan mobile
Fred de la Bretoniere: percentage bezoek naar
winkelmand op dekstop lager dan mobile
26. kan de schoen soms niet op een voet zien, of in
een totaalbeeld, wat juist erg fijn zou zijn om
hem juist te kunnen inschatten
26
wil de schoenen in zijn geheel zien
kan niet inzoomen en 360graden check
zou graag de vorm van de neus van
de schoen zien. Nu niet zichtbaar
plaatje is door tweeën maar sluit niet op
elkaar aan als afbeelding
Inzichtenverzamelen
Klantfeedback
beeld in tweeën
42. Hypothese opstellen
AANLEIDING: data-gedreven onderzoek
Hypothese:
WAT: de productfoto's compacter weergeven waarbij het hele product direct boven de vouw
zichtbaar + mogelijkheid tot sliden en inzoomen
WAAROM: meer bezoekers zullen de hele productafbeelding zien waardoor zij gestimuleerd worden
om meerdere productfoto's te bekijken en in te zoomen waardoor zij een beter beeld van het
product kunnen vormen
EFFECT: meer bezoekers producten in winkelmand toevoegen en meer transacties afronden
WAAR: op desktop op de productdetailpagina
43. Hypothese opstellen
Door op desktop (apparaat) op de productdetailpagina (testlocatie) de productfoto's compacter weer te
geven waarbij het hele product direct boven de vouw zichtbaar is en de productweergave een
mogelijkheid tot sliden en inzoomen heeft (aanpassing) zullen meer bezoekers de hele
productafbeelding zien, sneller gestimuleerd worden om meerdere productfoto's te bekijken en in te
zoomen, waardoor zij een beter beeld van het product kunnen vormen (impact gevoel/gedrag) en
waardoor zij sneller geneigd zullen zijn het product aan de winkelmand toe te voegen en vaker een
bestelling zullen plaatsen (KPI).
Hypothese:
53. Voorkom p-hacking
Continu monitoren van het experiment en deze stoppen zodra de waargenomen p-waarde onder een
drempelwaarde daalt, en dus significant is
55. Testvarianten maken
Pas je meerdere elementen aan in de variant of is
het één specifieke aanpassing?
Wie ontwerpt de varianten? Kijkt er een UX designer mee?
64. AB-test live zetten
Test of alle elementen op je testpagina correct functioneren
✓Werken alle functionaliteiten op de testpagina nog?
✓Zijn er geen elementen verschoven?
✓Check verschillende browsers
✓Check verschillende browserversies
✓Check verschillende resoluties
69. Recap van de test!
Hypothese
Door op desktop (apparaat) op de productdetailpagina (testlocatie) de productfoto's compacter weer te geven waarbij het hele
product direct boven de vouw zichtbaar is en de productweergave een mogelijkheid tot sliden en inzoomen heeft (aanpassing)
zullen meer bezoekers de hele productafbeelding zien, sneller gestimuleerd worden om meerdere productfoto's te bekijken en in te
zoomen, waardoor zij een beter beeld van het product kunnen vormen (impact gevoel/gedrag) en waardoor zij sneller geneigd
zullen zijn het product aan de winkelmand toe te voegen en vaker een bestelling zullen plaatsen (KPI).
73. Het gaat om hoeveel users converteren,
USERS SESSIONS TRANSACTIES
10 20 5
Conversiepercentage(zoals in GA):
(5/20) *100 = 25%
User conversiepercentage:
(5/10) *100 = 50%
niet om in hoeveel sessies zij hebben geconverteerd ..
86. Learnings delen + nieuwe inzichten
+ 7% meer transacties
91,50% succeskans
+5,5% meer bezoekers naar de checkout
91,50% succeskans
87. Learnings delen + nieuwe inzichten
+ 12% meer transacties
97% succeskans
88. Recap – CRO proces
Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvariantenmaken
A/B test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering
doorvoeren?
Nee JaVerwerpenen
naar volgende test
Maakticket voor
Development
Hoog
LIVE
Change backlog
o Webanalytics data
o Externe expert analyses
o Sessie recording analyses
o Onsite klantfeedback
o Usability onderzoek
o Gedragsonderzoek
o Analyse klantenservice
vragen
o Interviews met klanten
o Etc.
Bronnen voor
conversieverbeteringen
90. Wat mag je niet vergeten?
Meest gemaakte A/B-test fouten
1. Doe geen aannames over bezoekersgedrag
2. De variant werkt op webshop A dus dan werkt het bij ons ook!
3. Verbeteringen doorvoeren en perioden vergelijken
4. Verbeterpunten aandragen op basis van gevoel
5. Geen of slechte hypothese
6. P-hacking
7. Test-tool niet koppelen aan statistiekprogramma
8. Analyseren op basis van onjuiste KPI’s
9. Winnaars niet doorvoeren naar live
10. De testvariant verliest, dus je test is mislukt..
91. Evenementen – meld u aan www.ism.nl/evenementen:
[Webinar] Best Practices voor uw webwinkel op Magento
Donderdag 19 september
Romy Kuijper, E-commerce Consultant, ISM eCompany
[Webinar] De 12 bouwstenen voor een goede online marketingstrategie
Donderdag 5 september
Kees Beckeringh, Online Marketing Strateeg, ISM eCompany
Shopping Today
Donderdag 19 september
ISM geeft drie sessies
[Webinar] Klantreisoptimalisatie: een datagedreven strategie in zes stappen
Donderdag 17 oktober
Sander Berlinski, E-commerce Strateeg, ISM eCompany
LET OP: aanstaande donderdag!
92. Van Nelleweg 1, 3044 BC Rotterdam +31 (0)10 243 60 000 info@ism.nl www.ism.nl
Bedankt voor je tijd en aandacht!