A/B-Tests von Betreffzeilen: Aufbau, Stichprobe und Fallstricke

Ein A/B-Test von Betreffzeilen funktioniert so: Sie versenden dieselbe E-Mail mit zwei Betreffzeilen an zwei zufällige, gleich große Teile Ihrer Liste, messen, welche Version mehr eindeutige Klicks bringt, und schicken die Siegerin an den Rest. Das Ergebnis ist nur brauchbar, wenn sich die beiden Versionen in genau einer Sache unterscheiden, die Gruppen groß genug sind, um Zufall auszuschließen, und Sie auf Klicks messen statt auf Öffnungen.

Was Sie eigentlich testen

Eine Betreffzeile hat eine Aufgabe: die E-Mail öffnen lassen. Weil Öffnungen seit den Privatsphäremaßnahmen der E-Mail-Programme aber nicht mehr zuverlässig gemessen werden, messen Sie die Wirkung der Betreffzeile am besten an dem, was danach kommt: an der Zahl der eindeutigen Empfänger, die klicken. Eine Betreffzeile, die viel Neugier weckt, den Inhalt aber nicht einlöst, schneidet dann zu Recht schlechter ab als eine ehrliche Zeile, die die richtigen Leute öffnen lässt. Warum Öffnungen unzuverlässig sind, lesen Sie in unserem Artikel über Newsletter-KPIs.

Der Aufbau in fünf Schritten

1. Formulieren Sie eine Hypothese. Nicht „welche ist besser“, sondern „eine Betreffzeile mit dem konkreten Vorteil schlägt eine mit einer Frage“. Dann lernen Sie etwas, das Sie bei den nächsten Kampagnen nutzen können, auch wenn der Test anders ausgeht als erwartet.
2. Ändern Sie genau eine Sache. Länge, oder Tonfall, oder Personalisierung, oder eine Zahl darin. Nicht alles auf einmal, denn dann wissen Sie hinterher nicht, was den Unterschied gemacht hat.
3. Teilen Sie zufällig auf. Ihre Plattform muss die Liste mischen und danach trennen. Gruppe A die erste Hälfte einer alphabetischen Liste zu geben und Gruppe B die zweite, wirkt harmlos, ist es aber nicht: Dann sitzt plötzlich eine Domain oder ein Anmeldezeitraum vollständig in einer Gruppe.
4. Versenden Sie beide Versionen zum selben Zeitpunkt. Version A um 9 Uhr und Version B um 14 Uhr ist ein Test des Zeitpunkts, nicht der Betreffzeile.
5. Warten Sie lange genug und entscheiden Sie nach eindeutigen Klicks. Eine Siegerin nach einer Stunde ist eine Siegerin bei den Menschen, die morgens E-Mails lesen. Geben Sie dem Test mindestens die Zeit, die Ihre Leser üblicherweise brauchen, um zu reagieren; bei den meisten Newslettern sind das einige Stunden bis ein Tag.

Wie groß muss die Stichprobe sein?

Größer, als die meisten denken. Der Unterschied, den Sie messen wollen, ist meist klein: ein paar Prozent mehr Klicks. Um so einen kleinen Unterschied vom Zufall zu trennen, brauchen Sie je Gruppe Tausende Empfänger, nicht Hunderte. Eine praktische Faustregel: Zählen beide Gruppen zusammen weniger als einige Tausend Adressen, ist der Test fast nie belastbar, und zwei aufeinanderfolgende Kampagnen mit derselben Frage sind dann oft sinnvoller als ein einziger geteilter Versand.

Haben Sie eine große Liste, müssen Sie nicht alles in den Test stecken. Ein gängiger Aufbau sind 10 bis 20 Prozent der Liste für den Test (aufgeteilt auf A und B) und die restlichen 80 bis 90 Prozent für die Siegerin. Je kleiner der Testanteil, desto länger müssen Sie warten und desto größer muss der Unterschied sein, um daraus etwas zu schließen.

Fünf Fallstricke

1. Auf Öffnungen messen

Schon genannt, aber es ist der häufigste Fehler, weil die Plattformen es standardmäßig so einstellen. Setzen Sie das Erfolgsmaß ausdrücklich auf Klicks.

2. Zu früh entscheiden

Nach einer Stunde liegt Version A vorn, nach einem Tag Version B. Wer die Plattform automatisch nach einer Stunde die Siegerin wählen lässt, misst, welche Betreffzeile schnelle Leser anspricht.

3. Die Siegerin als bewiesene Wahrheit sehen

Ein Test sagt etwas über eine E-Mail an eine Liste an einem Tag. Erst nach mehreren Tests in dieselbe Richtung dürfen Sie eine Regel ableiten, die Sie bei den nächsten Kampagnen anwenden.

4. Nur auf die kurze Frist schauen

Eine reißerische Betreffzeile gewinnt den Test und bringt eine Woche später mehr Abmeldungen und Beschwerden. Sehen Sie sich nach jedem Test auch die Abmeldungen und Beschwerden je Gruppe an. Eine Betreffzeile, die bei den Klicks gewinnt und bei den Beschwerden verliert, ist keine Siegerin; sie schadet auf Dauer Ihrer Zustellbarkeit.

5. Auf einer unsauberen Liste testen

Eine Liste mit vielen toten oder schlafenden Adressen verdünnt beide Gruppen gleichermaßen, macht den Unterschied aber kleiner und den Test damit unempfindlicher. Räumen Sie zuerst auf.

Ein praktisches Beispiel

Ein Onlineshop mit 30.000 aktiven Adressen testet bei der Sommeraktion zwei Betreffzeilen: „Sommeraktion: 20 % Rabatt auf alle Gartenmöbel“ gegen „Ist Ihr Garten bereit für den Sommer?“ Die Plattform versendet jede Version um 10 Uhr an 3.000 zufällige Adressen. Nach sechs Stunden zählt Version A 190 eindeutige Klicker und Version B 140. Dieser Unterschied ist groß genug, um daraus etwas zu machen, und der Shop versendet Version A an die übrigen 24.000. Für die nächste Kampagne notiert das Team die Hypothese „konkreter Vorteil im Betreff schlägt eine Frage“ und testet sie erneut mit einem anderen Produkt, um zu sehen, ob die Regel hält.

Häufig gestellte Fragen

Kann ich mehr als zwei Versionen testen?

Möglich ist es, aber jede zusätzliche Version verkleinert die Gruppen und schwächt den Test. Bei einer kleineren Liste bleiben Sie bei zwei.

Was teste ich nach der Betreffzeile?

Den Absendernamen (Firma oder Person), den Versandzeitpunkt und den ersten Button in der E-Mail. Eines nach dem anderen, auf dieselbe Weise. Auf unserer Seite über Newsletter versenden lesen Sie, wie Sie das im Kampagnentool einrichten.

Kann ich Betreffzeilen bei transaktionalen E-Mails testen?

Besser nicht. Eine Bestellbestätigung muss wiedererkennbar sein, nicht überraschend. Heben Sie das Testen für Kampagnen auf.