Pre-valideren als succesvoorspeller

Online experimenteren kost tijd en geld, daarom wil je dat graag goed doen. Het probleem is alleen dat je vooraf niet weet of het idee dat je wilt testen het juiste idee is.

Tekst: Roos van Dam

Voordeel van de online wereld is dat er meerdere bronnen – zoals dataonderzoek en gebruikerstesten – beschikbaar zijn, waardoor je kunt inschatten of je ideeën potentie hebben. Zo kun je ook ideeën pre-valideren door middel van notificaties.

Pre-valideren is het op een zo makkelijk mogelijke manier onderzoeken of de A/B-test een positief effect zal hebben. Op deze manier kun je met minimale inspanning de kans vergroten dat het echte experiment een succes wordt. Pre-validatie wordt veel gebruikt in de medische en farmaceutische wereld. Patiënten krijgen bijvoorbeeld een lichte dosis medicatie om te zien of het medicijn het gewenste effect heeft voordat de voorgeschreven dosis wordt toegediend. Het voordeel van pre-validatie is dat het onnodige kosten kan besparen omdat je je experimenten van te voren al prioriteert op potentie. Op deze manier verhoog je de ROI per A/B-test.

Input voor je prioritering

Pre-valideren kan op allerlei verschillende manieren. Let wel, je wilt dat de onderzoeken kwalitatief zo hoog mogelijk scoren op de hierarchy of evidence (zie afbeelding). Hoe hoger het onderzoek in deze bewijshiërarchie staat, hoe groter het vertrouwen dat de gevonden resultaten ook daadwerkelijk waar zijn.

Een voorbeeld van een pre-validatie is aan iemand vragen wat hij mist op een webpagina. Maar een A/B-test met meer dan duizend conversies is ook een pre-validatie. Je kunt al wel inschatten dat de feedback van één persoon lager scoort op de hierarchy of evidence dan de A/B-test. Mochten zowel die persoon als de A/B-test op hetzelfde wijzen, dan versterkt dit je pre-validatie. Oftewel, meer redenen voor jou om dit experiment uit te voeren.

Notificaties als pre-validatie

Notificaties gebruiken om te pre-valideren is een simpele methode waarbij je een stukje code over de site heen legt. Het enige wat je doet is een notificatie in beeld schuiven en weer laten verdwijnen. Het voordeel hiervan is dat het weinig ontwikkelcapaciteit kost, het snel geïmplementeerd kan worden en je geen rekening hoeft te houden met het huidige design van de website. Daarnaast ben je er vrij zeker van dat bezoekers de melding zien (het beweegt) en in het stukje tekst kun je een (psychologisch) principe testen.

Vooralsnog gaan we ervan uit dat als een pre-validatie een positief effect heeft, de kans groter is dat we ook een positief effect zullen vinden in de A/B-test.

Op deze manier kun je je testcapaciteit optimaal benutten om goede ideeën te testen en minder goede ideeën op voorhand te elimineren, om uiteindelijk het aantal succesvolle experimenten te vergroten.

In ontwikkeling

Uiteraard is er binnen deze methode ruimte voor ontwikkeling. Bijvoorbeeld, als je pre-validatie negatief is, stopt je onderzoek dan? En in hoeverre kan een pre-validatie de uitkomst van je A/B-test voorspellen, aangezien een bewegende notificatie wellicht een heel andere ervaring geeft dan een statische designaanpassing? Kortom, genoeg om mee aan de slag te gaan.

Webanalisten
Dit artikel is geschreven door Roos van Dam, behavioural expert bij Online Dialogue, voor het online analyse en optimalisatieplatform Webanalisten.nl. Het volledige artikel is hier te lezen.