Tester des objets d'e-mail en A/B : méthode, échantillon et pièges

Un test A/B d'objets fonctionne ainsi : vous envoyez le même message avec deux objets différents à deux parties aléatoires et de même taille de votre liste, vous mesurez quelle version génère le plus de clics uniques, et vous envoyez la gagnante au reste. Le résultat n'est exploitable que si les deux versions ne diffèrent que sur un point, si les groupes sont assez grands pour exclure le hasard, et si vous mesurez les clics plutôt que les ouvertures.

Ce que vous testez réellement

Un objet n'a qu'une tâche : faire ouvrir le message. Mais comme les ouvertures ne se mesurent plus de façon fiable depuis les mesures de confidentialité des logiciels de messagerie, vous mesurez l'effet de l'objet de préférence sur ce qui vient après : le nombre de destinataires uniques qui cliquent. Un objet qui suscite beaucoup de curiosité mais que le contenu ne confirme pas obtient alors, à juste titre, un moins bon score qu'un objet honnête qui fait ouvrir les bonnes personnes. Pourquoi les ouvertures ne sont pas fiables, vous le lirez dans notre article sur les KPI de newsletter.

La méthode en cinq étapes

1. Formulez une hypothèse. Pas « laquelle est meilleure » mais « un objet avec l'avantage concret fait mieux qu'un objet sous forme de question ». Vous apprenez ainsi quelque chose d'utilisable pour les campagnes suivantes, même si le test tourne autrement que prévu.
2. Ne changez qu'une chose. La longueur, ou le ton, ou la personnalisation, ou un chiffre. Pas tout à la fois, sinon vous ne saurez pas ensuite ce qui a fait la différence.
3. Répartissez au hasard. Votre plateforme doit mélanger la liste puis la scinder. Donner au groupe A la première moitié d'une liste alphabétique et au groupe B la seconde paraît anodin mais ne l'est pas : un domaine ou une période d'inscription se retrouve alors dans un seul groupe.
4. Envoyez les deux versions au même moment. La version A à 9 h et la version B à 14 h, c'est un test de l'heure d'envoi, pas de l'objet.
5. Attendez assez longtemps et décidez sur les clics uniques. Une gagnante après une heure est une gagnante chez les gens qui lisent leur courrier le matin. Laissez au test au moins le temps que vos lecteurs prennent habituellement pour réagir ; pour la plupart des newsletters, cela va de quelques heures à une journée.

Quelle taille d'échantillon ?

Plus grande que la plupart des gens ne le pensent. La différence que vous essayez de mesurer est généralement petite : quelques pour cent de clics en plus. Pour distinguer une si petite différence du hasard, il vous faut des milliers de destinataires par groupe, pas des centaines. Une règle pratique : si les deux groupes réunis comptent moins de quelques milliers d'adresses, le test n'est presque jamais fiable, et deux campagnes successives posant la même question sont souvent plus utiles qu'un seul envoi scindé.

Si vous avez une grande liste, il n'est pas nécessaire de tout y consacrer. Une configuration courante réserve 10 à 20 pour cent de la liste au test (répartis entre A et B) et les 80 à 90 pour cent restants à la gagnante. Plus la part de test est petite, plus vous devez attendre et plus la différence doit être grande pour en conclure quelque chose.

Cinq pièges

1. Mesurer sur les ouvertures

Déjà évoqué, mais c'est l'erreur la plus fréquente, parce que les plateformes le configurent ainsi par défaut. Réglez explicitement le critère de victoire sur les clics.

2. Décider trop tôt

Après une heure, la version A mène ; après une journée, la version B. Celui qui laisse la plateforme choisir automatiquement la gagnante après une heure mesure quel objet plaît aux lecteurs rapides.

3. Prendre la gagnante pour une vérité prouvée

Un test dit quelque chose sur un message vers une liste un jour donné. Ce n'est qu'après plusieurs tests allant dans le même sens que vous pouvez en déduire une règle applicable aux campagnes suivantes.

4. Ne regarder qu'à court terme

Un objet sensationnel gagne le test et produit une semaine plus tard davantage de désabonnements et de plaintes. Après chaque test, regardez aussi les désabonnements et plaintes par groupe. Un objet qui gagne sur les clics et perd sur les plaintes n'est pas une gagnante ; elle nuit à votre délivrabilité à terme.

5. Tester sur une liste sale

Une liste avec beaucoup d'adresses mortes ou endormies dilue les deux groupes de la même façon, mais réduit l'écart et rend donc le test moins sensible. Nettoyez d'abord.

Un exemple concret

Une boutique en ligne avec 30 000 adresses actives teste, pour son action d'été, deux objets : « Action d'été : 20 % de réduction sur tout le mobilier de jardin » contre « Votre jardin est-il prêt pour l'été ? » La plateforme envoie chacun à 3 000 adresses aléatoires à 10 h. Après six heures, la version A compte 190 cliqueurs uniques et la version B 140. Cette différence est assez grande pour en tirer quelque chose, et la boutique envoie la version A aux 24 000 adresses restantes. Pour la campagne suivante, l'équipe note l'hypothèse « un avantage concret dans l'objet bat une question » et la teste à nouveau avec un autre produit pour voir si la règle tient.

Questions fréquentes

Puis-je tester plus de deux versions ?

C'est possible, mais chaque version supplémentaire réduit les groupes et affaiblit le test. Avec une liste plus petite, restez à deux.

Que tester après l'objet ?

Le nom d'expéditeur (entreprise ou personne), l'heure d'envoi et le premier bouton du message. Un à la fois, de la même façon. Sur notre page consacrée à l'envoi de newsletters, vous lirez comment le configurer dans l'outil de campagne.

Puis-je tester des objets en e-mail transactionnel ?

Mieux vaut éviter. Une confirmation de commande doit être reconnaissable, pas surprenante. Réservez les tests aux campagnes.