Hvad er en A/B-test?
En A/B-test sammenligner to varianter ved at fordele egnede brugere tilfældigt mellem en kontrolversion A og en alternativ version B. På forhånd vælges et primært mål, og testen undersøger, om forskellen er større end den variation, der kan opstå tilfældigt.
Eksempel og korrekt måling
En webshop vil teste en kortere checkout. I samme periode ser 4.000 brugere version A og 4.000 version B. Hvis henholdsvis 200 og 232 gennemfører et køb, er konverteringsraterne 5,0 % og 5,8 %. Det er en relativ forskel på 16 %, men beslutningen bør baseres på testens usikkerhed og foruddefinerede kriterier – ikke kun på de to procenttal.
Nævneren skal være den samme type enhed i begge grupper, for eksempel unikke brugere eller kvalificerede sessioner. Tælleren skal være den på forhånd valgte handling. Angiv altid testperiode, målgruppe og eventuelle eksklusioner.
En robust arbejdsgang
- Formulér hypotese og primært mål, før testen starter.
- Fordel trafikken tilfældigt og sørg for, at samme bruger normalt ser samme variant.
- Beregn nødvendig stikprøve og varighed ud fra forventet effekt og normal trafik.
- Lad testen dække relevante uge- og købscyklusser, og undgå at stoppe ved det første positive udsving.
- Kontrollér bivirkninger som returvarer, fejl, hastighed eller lavere kvalitet af leads.
A/B-test og SEO
Google anbefaler, at søgemaskinen ikke får en anden testversion end brugerne. Ved tests med flere URL’er bør kontrolsiden normalt angives som canonical, og midlertidige omdirigeringer bør bruges i stedet for permanente. Testen bør kun køre så længe, den er nødvendig. Hvis flere dele ændres på én gang, kan testen måle den samlede variant, men ikke sikkert forklare hvilken enkeltændring der skabte resultatet.