Test A/B degli oggetti: impostazione, campione e trappole

Un test A/B degli oggetti funziona così: invii la stessa mail con due oggetti a due parti casuali e ugualmente grandi della tua lista, misuri quale versione produce più clic unici e mandi la vincitrice al resto. Il risultato è utilizzabile solo se le due versioni differiscono per una cosa sola, se i gruppi sono abbastanza grandi da escludere il caso e se misuri sui clic invece che sulle aperture.

Che cosa stai davvero provando

Un oggetto ha un compito solo: far aprire la mail. Ma poiché dalle misure sulla privacy dei programmi di posta le aperture non si misurano più in modo affidabile, l'effetto dell'oggetto si misura meglio su ciò che viene dopo: il numero di destinatari unici che clicca. Un oggetto che suscita molta curiosità ma non mantiene ciò che il contenuto promette ottiene allora giustamente un risultato peggiore di una riga onesta che fa aprire alle persone giuste. Perché le aperture sono inaffidabili lo leggi nel nostro articolo sui KPI della newsletter.

L'impostazione in cinque passi

1. Formula un'ipotesi. Non "quale è meglio" ma "un oggetto con il vantaggio concreto rende più di uno con una domanda". Così impari qualcosa che puoi usare nelle campagne successive, anche se il test va diversamente dal previsto.
2. Cambia una cosa sola. La lunghezza, o il tono, o la personalizzazione, o un numero dentro. Non tutto insieme, altrimenti dopo non sai che cosa ha fatto la differenza.
3. Dividi a caso. La tua piattaforma deve mescolare la lista e poi dividerla. Dare al gruppo A la prima metà di un elenco alfabetico e al gruppo B la seconda sembra innocuo ma non lo è: così un dominio o un periodo d'iscrizione finisce tutto in un gruppo solo.
4. Invia entrambe le versioni nello stesso momento. La versione A alle 9 e la B alle 14 è un test dell'orario, non dell'oggetto.
5. Aspetta abbastanza e decidi sui clic unici. Una vincitrice dopo un'ora è una vincitrice presso chi legge la posta al mattino. Dà al test almeno il tempo che i tuoi lettori impiegano di solito a reagire; per la maggior parte delle newsletter sono alcune ore fino a un giorno.

Quanto dev'essere grande il campione?

Più grande di quanto la maggior parte delle persone pensi. La differenza che cerchi di misurare è di solito piccola: qualche punto percentuale di clic in più. Per distinguere una differenza così piccola dal caso ti servono migliaia di destinatari per gruppo, non centinaia. Una regola pratica: se i due gruppi insieme contano meno di qualche migliaio di indirizzi, il test non è quasi mai affidabile, e due campagne di seguito con la stessa domanda sono spesso più sensate di un unico invio diviso.

Se hai una lista grande, non devi metterla tutta nel test. Un'impostazione comune è dal 10 al 20 per cento della lista per il test (diviso tra A e B) e il restante 80-90 per cento per la vincitrice. Più piccola è la parte di test, più a lungo devi aspettare e più grande deve essere la differenza per trarne una conclusione.

Cinque trappole

1. Misurare sulle aperture

Già detto, ma è l'errore più frequente, perché le piattaforme lo impostano così di base. Metti esplicitamente il criterio di vittoria sui clic.

2. Decidere troppo presto

Dopo un'ora è avanti la versione A, dopo un giorno la B. Chi lascia scegliere alla piattaforma la vincitrice dopo un'ora misura quale oggetto piace ai lettori rapidi.

3. Prendere la vincitrice per verità dimostrata

Un test dice qualcosa su una mail, verso una lista, in un giorno. Solo dopo più test nella stessa direzione puoi ricavarne una regola da applicare alle campagne successive.

4. Guardare solo al breve termine

Un oggetto sensazionalistico vince il test e una settimana dopo produce più disiscrizioni e reclami. Dopo ogni test guarda anche le disiscrizioni e i reclami per gruppo. Un oggetto che vince sui clic e perde sui reclami non è una vincitrice; danneggia a termine la tua deliverability.

5. Provare su una lista sporca

Una lista con molti indirizzi morti o dormienti diluisce entrambi i gruppi allo stesso modo, ma rende la differenza più piccola e quindi il test meno sensibile. Fa' prima pulizia.

Un esempio pratico

Un e-commerce con 30.000 indirizzi attivi prova per la promozione estiva due oggetti: "Promo estate: 20 % di sconto su tutti i mobili da giardino" contro "Il tuo giardino è pronto per l'estate?". La piattaforma li invia ciascuno a 3.000 indirizzi casuali alle 10. Dopo sei ore la versione A conta 190 cliccatori unici e la B 140. È una differenza abbastanza grande per farne qualcosa, e l'e-commerce manda la versione A ai restanti 24.000. Per la campagna successiva la squadra annota l'ipotesi "un vantaggio concreto nell'oggetto batte una domanda" e la riprova con un altro prodotto per vedere se la regola regge.

Domande frequenti

Posso provare più di due versioni?

Si può, ma ogni versione in più rimpicciolisce i gruppi e indebolisce il test. Con una lista piccola resta su due.

Che cosa provo dopo l'oggetto?

Il nome mittente (azienda o persona), l'orario d'invio e il primo pulsante nella mail. Uno per volta, allo stesso modo. Sulla nostra pagina su come inviare una newsletter leggi come impostarlo nello strumento di campagna.

Posso provare gli oggetti nella posta transazionale?

Meglio di no. Una conferma d'ordine dev'essere riconoscibile, non sorprendente. Riserva i test alle campagne.