A/B-testen van onderwerpregels: opzet, steekproef en valkuilen
Een A/B-test van onderwerpregels werkt zo: u verstuurt dezelfde mail met twee onderwerpregels naar twee willekeurige, even grote delen van uw lijst, meet welke versie meer unieke kliks oplevert, en verstuurt de winnaar naar de rest. Het resultaat is alleen bruikbaar als de twee versies in één ding verschillen, de groepen groot genoeg zijn om toeval uit te sluiten, en u op kliks meet in plaats van op opens.
Wat u eigenlijk test
Een onderwerpregel heeft één taak: de mail laten openen. Maar omdat opens sinds de privacymaatregelen van mailprogramma's niet betrouwbaar meer gemeten worden, meet u het effect van de onderwerpregel het best op wat erna komt: het aantal unieke ontvangers dat klikt. Een onderwerpregel die veel nieuwsgierigheid wekt maar de inhoud niet waarmaakt, scoort dan terecht slechter dan een eerlijke regel die de juiste mensen laat opendoen. Waarom opens onbetrouwbaar zijn, leest u in ons artikel over nieuwsbrief-KPI's.
De opzet in vijf stappen
- Formuleer een hypothese. Niet "welke is beter" maar "een onderwerpregel met het concrete voordeel scoort beter dan een met een vraag". Dan leert u iets dat u bij volgende campagnes kunt gebruiken, ook als de test anders uitvalt dan verwacht.
- Verander één ding. Lengte, of toon, of personalisatie, of een cijfer erin. Niet alles tegelijk, want dan weet u achteraf niet wat het verschil maakte.
- Verdeel willekeurig. Uw platform moet de lijst door elkaar husselen en dan splitsen. Groep A de eerste helft van een alfabetische lijst geven en groep B de tweede, lijkt onschuldig maar is het niet: dan zit één domein of één inschrijfperiode ineens in één groep.
- Verstuur beide versies op hetzelfde moment. Versie A om 9 uur en versie B om 14 uur is een test van het tijdstip, niet van de onderwerpregel.
- Wacht lang genoeg en beslis op unieke kliks. Een winnaar na één uur is een winnaar bij de mensen die 's ochtends mail lezen. Geef de test minstens de tijd die uw lezers gewoonlijk nemen om te reageren; bij de meeste nieuwsbrieven is dat een aantal uren tot een dag.
Hoe groot moet de steekproef zijn?
Groter dan de meeste mensen denken. Het verschil dat u probeert te meten, is meestal klein: een paar procent meer kliks. Om zo'n klein verschil van toeval te onderscheiden, hebt u per groep duizenden ontvangers nodig, niet honderden. Een praktische vuistregel: als beide groepen samen minder dan enkele duizenden adressen tellen, is de test bijna nooit betrouwbaar, en zijn twee campagnes na elkaar met dezelfde vraag vaak zinvoller dan één gesplitste verzending.
Hebt u een grote lijst, dan hoeft u niet alles in de test te steken. Een gangbare opzet is 10 tot 20 procent van de lijst voor de test (verdeeld over A en B) en de resterende 80 tot 90 procent voor de winnaar. Hoe kleiner het testdeel, hoe langer u moet wachten en hoe groter het verschil moet zijn om er iets uit te besluiten.
Vijf valkuilen
1. Meten op opens
Al genoemd, maar het is de vaakst gemaakte fout, omdat platformen het standaard zo instellen. Zet de winstmaatstaf expliciet op kliks.
2. Te vroeg beslissen
Na een uur ligt versie A voor, na een dag versie B. Wie het platform automatisch na een uur de winnaar laat kiezen, meet welke onderwerpregel snelle lezers aanspreekt.
3. De winnaar als bewezen waarheid zien
Eén test zegt iets over één mail naar één lijst op één dag. Pas na meerdere tests in dezelfde richting mag u een regel afleiden die u bij volgende campagnes toepast.
4. Alleen op korte termijn kijken
Een sensationele onderwerpregel wint de test en levert een week later meer afmeldingen en klachten op. Bekijk na elke test ook de afmeldingen en klachten per groep. Een onderwerpregel die wint op kliks en verliest op klachten, is geen winnaar; ze schaadt uw deliverability op termijn.
5. Testen op een vuile lijst
Een lijst met veel dode of slapende adressen verdunt beide groepen gelijk, maar maakt het verschil kleiner en de test dus minder gevoelig. Ruim eerst op.
Een praktisch voorbeeld
Een webshop met 30.000 actieve adressen test bij de zomeractie twee onderwerpregels: "Zomeractie: 20 % korting op alle tuinmeubelen" tegen "Uw tuin klaar voor de zomer?" Het platform verstuurt elk naar 3.000 willekeurige adressen om 10 uur. Na zes uur telt versie A 190 unieke klikkers en versie B 140. Dat verschil is groot genoeg om er iets van te maken, en de webshop verstuurt versie A naar de overige 24.000. Voor de volgende campagne noteert het team de hypothese "concreet voordeel in het onderwerp verslaat een vraag", en test het opnieuw met een ander product om te zien of de regel standhoudt.
Veelgestelde vragen
Kan ik meer dan twee versies testen?
Het kan, maar elke extra versie verkleint de groepen en verzwakt de test. Met een kleinere lijst houdt u het bij twee.
Wat test ik na de onderwerpregel?
De afzendernaam (bedrijf of persoon), het verzendtijdstip en de eerste knop in de mail. Eén per keer, op dezelfde manier. Op onze pagina over nieuwsbrieven versturen leest u hoe u dat in de campagnetool inricht.
Kan ik onderwerpregels testen bij transactionele mail?
Beter niet. Een bestelbevestiging moet herkenbaar zijn, niet verrassend. Bewaar het testen voor campagnes.