Testy A/B tematów wiadomości: konfiguracja, próba i pułapki
Test A/B tematów wiadomości działa tak: wysyłają Państwo ten sam e-mail z dwoma tematami do dwóch losowych, równych części listy, mierzą, która wersja daje więcej unikalnych kliknięć, i wysyłają zwycięską wersję do reszty. Wynik jest użyteczny tylko wtedy, gdy obie wersje różnią się jedną rzeczą, grupy są na tyle duże, by wykluczyć przypadek, a pomiar opiera się na kliknięciach, a nie na otwarciach.
Co właściwie Państwo testują
Temat wiadomości ma jedno zadanie: sprawić, by wiadomość została otwarta. Ponieważ jednak od czasu wprowadzenia zabezpieczeń prywatności w programach pocztowych otwarć nie da się już rzetelnie mierzyć, efekt tematu najlepiej mierzyć tym, co następuje później: liczbą unikalnych odbiorców, którzy klikają. Temat, który budzi dużo ciekawości, ale nie spełnia obietnicy w treści, słusznie wypada wtedy gorzej niż uczciwy temat, który skłania do otwarcia właściwe osoby. Dlaczego otwarcia są niewiarygodne, przeczytają Państwo w naszym artykule o wskaźnikach newslettera.
Konfiguracja w pięciu krokach
- Sformułować hipotezę. Nie „który jest lepszy”, lecz „temat z konkretną korzyścią wypada lepiej niż temat w formie pytania”. Wtedy uczą się Państwo czegoś, co przyda się w kolejnych kampaniach, nawet jeśli test wypadnie inaczej, niż oczekiwano.
- Zmienić jedną rzecz. Długość albo ton, albo personalizację, albo liczbę w temacie. Nie wszystko naraz, bo potem nie wiadomo, co zrobiło różnicę.
- Dzielić losowo. Platforma powinna przetasować listę, a potem ją podzielić. Przydzielenie grupie A pierwszej połowy listy alfabetycznej, a grupie B drugiej wydaje się niewinne, ale takie nie jest: jedna domena albo jeden okres zapisów nagle trafia w całości do jednej grupy.
- Wysłać obie wersje w tym samym momencie. Wersja A o 9:00 i wersja B o 14:00 to test godziny wysyłki, a nie tematu.
- Odczekać wystarczająco długo i decydować na podstawie unikalnych kliknięć. Zwycięzca po godzinie to zwycięzca wśród osób, które czytają pocztę rano. Test powinien trwać co najmniej tyle, ile czytelnicy zwykle potrzebują na reakcję; w przypadku większości newsletterów to od kilku godzin do doby.
Jak duża musi być próba?
Większa, niż myśli większość ludzi. Różnica, którą próbują Państwo zmierzyć, jest zwykle niewielka: kilka procent kliknięć więcej. Aby odróżnić tak małą różnicę od przypadku, potrzeba w każdej grupie tysięcy odbiorców, a nie setek. Praktyczna reguła kciuka: jeśli obie grupy razem liczą mniej niż kilka tysięcy adresów, test prawie nigdy nie jest wiarygodny, a dwie kolejne kampanie z tym samym pytaniem mają często więcej sensu niż jedna podzielona wysyłka.
Przy dużej liście nie trzeba przeznaczać na test wszystkiego. Typowa konfiguracja to 10 do 20 procent listy na test (podzielone między A i B) i pozostałe 80 do 90 procent dla zwycięzcy. Im mniejsza część testowa, tym dłużej trzeba czekać i tym większa musi być różnica, by wyciągnąć wnioski.
Pięć pułapek
1. Mierzenie otwarć
Już o tym wspomniano, ale to najczęstszy błąd, bo platformy domyślnie tak to ustawiają. Proszę wyraźnie ustawić kryterium zwycięstwa na kliknięcia.
2. Zbyt wczesna decyzja
Po godzinie prowadzi wersja A, po dobie wersja B. Kto pozwala platformie automatycznie wybrać zwycięzcę po godzinie, mierzy, który temat przemawia do szybkich czytelników.
3. Traktowanie zwycięzcy jak udowodnionej prawdy
Jeden test mówi coś o jednym mailu do jednej listy w jednym dniu. Dopiero po kilku testach wskazujących w tym samym kierunku można wyprowadzić regułę i stosować ją w kolejnych kampaniach.
4. Patrzenie tylko na krótki termin
Sensacyjny temat wygrywa test, a tydzień później przynosi więcej wypisań i skarg. Po każdym teście proszę sprawdzić także wypisania i skargi w każdej grupie. Temat, który wygrywa kliknięciami, a przegrywa skargami, nie jest zwycięzcą; z czasem szkodzi Państwa dostarczalności.
5. Testowanie na brudnej liście
Lista z wieloma martwymi lub uśpionymi adresami rozcieńcza obie grupy w równym stopniu, ale zmniejsza różnicę, a więc i czułość testu. Najpierw trzeba posprzątać.
Praktyczny przykład
Sklep internetowy z 30 000 aktywnych adresów testuje przy letniej promocji dwa tematy: „Letnia promocja: 20% rabatu na wszystkie meble ogrodowe” kontra „Czy Państwa ogród jest gotowy na lato?”. Platforma wysyła każdy z nich do 3000 losowych adresów o 10:00. Po sześciu godzinach wersja A ma 190 unikalnych klikających, a wersja B 140. Ta różnica jest na tyle duża, by coś z niej wynikało, więc sklep wysyła wersję A do pozostałych 24 000 adresów. Na potrzeby kolejnej kampanii zespół zapisuje hipotezę „konkretna korzyść w temacie wygrywa z pytaniem” i testuje ją ponownie z innym produktem, by sprawdzić, czy reguła się utrzymuje.
Najczęściej zadawane pytania
Czy mogę testować więcej niż dwie wersje?
Można, ale każda dodatkowa wersja zmniejsza grupy i osłabia test. Przy mniejszej liście lepiej pozostać przy dwóch.
Co testować po temacie wiadomości?
Nazwę nadawcy (firma czy osoba), godzinę wysyłki i pierwszy przycisk w wiadomości. Po jednym elemencie naraz, w ten sam sposób. Na naszej stronie o wysyłaniu newsletterów przeczytają Państwo, jak skonfigurować to w narzędziu do kampanii.
Czy mogę testować tematy w poczcie transakcyjnej?
Lepiej nie. Potwierdzenie zamówienia ma być rozpoznawalne, a nie zaskakujące. Testowanie warto zostawić kampaniom.