Pruebas A/B de asuntos: planteamiento, muestra y trampas

Una prueba A/B de asuntos funciona así: envía el mismo correo con dos asuntos a dos partes aleatorias e iguales de su lista, mide qué versión produce más clics únicos y envía la ganadora al resto. El resultado solo es aprovechable si las dos versiones difieren en una sola cosa, los grupos son lo bastante grandes para descartar el azar y mide clics en lugar de aperturas.

Qué está probando en realidad

Un asunto tiene una tarea: hacer que se abra el correo. Pero como las aperturas ya no se miden de forma fiable desde las medidas de privacidad de los programas de correo, lo mejor es medir el efecto del asunto por lo que viene después: el número de destinatarios únicos que pulsa. Un asunto que despierta mucha curiosidad pero no cumple con el contenido puntúa entonces, con razón, peor que uno honesto que hace abrir a las personas adecuadas. Por qué las aperturas no son fiables está en nuestro artículo sobre los KPI de boletín.

El planteamiento en cinco pasos

1. Formule una hipótesis. No «cuál es mejor», sino «un asunto con la ventaja concreta puntúa mejor que uno con una pregunta». Así aprende algo que puede usar en campañas siguientes, aunque la prueba salga distinta de lo esperado.
2. Cambie una sola cosa. La longitud, o el tono, o la personalización, o incluir una cifra. No todo a la vez, porque entonces no sabrá después qué marcó la diferencia.
3. Reparta al azar. Su plataforma debe barajar la lista y después dividirla. Dar al grupo A la primera mitad de una lista alfabética y al B la segunda parece inocente, pero no lo es: así un dominio o un periodo de alta acaba entero en un grupo.
4. Envíe ambas versiones en el mismo momento. La versión A a las 9 y la B a las 14 es una prueba del momento, no del asunto.
5. Espere lo suficiente y decida por clics únicos. Un ganador al cabo de una hora es un ganador entre quienes leen el correo por la mañana. Dé a la prueba al menos el tiempo que sus lectores suelen tardar en reaccionar; en la mayoría de los boletines son unas horas o un día.

¿Cómo de grande debe ser la muestra?

Más grande de lo que la mayoría cree. La diferencia que intenta medir suele ser pequeña: un par de puntos porcentuales más de clics. Para distinguir del azar una diferencia así necesita miles de destinatarios por grupo, no cientos. Una regla práctica: si los dos grupos juntos suman menos de unos miles de direcciones, la prueba casi nunca es fiable, y hacer dos campañas seguidas con la misma pregunta suele tener más sentido que un envío dividido.

Si tiene una lista grande, no hace falta meterla entera en la prueba. Un planteamiento habitual es del 10 al 20 por ciento de la lista para la prueba (repartido entre A y B) y el 80 a 90 por ciento restante para la ganadora. Cuanto menor sea la parte de prueba, más tendrá que esperar y mayor deberá ser la diferencia para concluir algo.

Cinco trampas

1. Medir por aperturas

Ya se ha dicho, pero es el error más frecuente, porque las plataformas lo configuran así por defecto. Ponga la medida de victoria expresamente en clics.

2. Decidir demasiado pronto

Al cabo de una hora va por delante la versión A; al cabo de un día, la B. Quien deja que la plataforma elija la ganadora automáticamente en una hora está midiendo qué asunto atrae a los lectores rápidos.

3. Tomar a la ganadora por verdad demostrada

Una prueba dice algo sobre un correo, a una lista, un día. Solo tras varias pruebas en la misma dirección puede deducir una regla que aplicar en campañas siguientes.

4. Mirar solo el corto plazo

Un asunto sensacionalista gana la prueba y produce una semana después más bajas y quejas. Mire tras cada prueba también las bajas y las quejas por grupo. Un asunto que gana en clics y pierde en quejas no es un ganador; daña su entregabilidad a la larga.

5. Probar con una lista sucia

Una lista con muchas direcciones muertas o dormidas diluye ambos grupos por igual, pero achica la diferencia y hace la prueba menos sensible. Depure primero.

Un ejemplo práctico

Una tienda online con 30.000 direcciones activas prueba en la promoción de verano dos asuntos: «Promoción de verano: 20 % de descuento en todos los muebles de jardín» frente a «¿Su jardín listo para el verano?». La plataforma envía cada uno a 3.000 direcciones aleatorias a las 10. Al cabo de seis horas, la versión A suma 190 clicadores únicos y la B, 140. Esa diferencia es lo bastante grande como para sacar algo en claro, y la tienda envía la versión A a las 24.000 restantes. Para la campaña siguiente el equipo anota la hipótesis «una ventaja concreta en el asunto gana a una pregunta» y vuelve a probarla con otro producto para ver si la regla se mantiene.

Preguntas frecuentes

¿Puedo probar más de dos versiones?

Se puede, pero cada versión adicional achica los grupos y debilita la prueba. Con una lista pequeña, quédese en dos.

¿Qué pruebo después del asunto?

El nombre del remitente (empresa o persona), el momento de envío y el primer botón del correo. Uno cada vez, de la misma manera. Lo que hace la herramienta de campañas de 2Mail se explica en nuestra página sobre enviar newsletters.

¿Puedo probar asuntos en el correo transaccional?

Mejor no. Una confirmación de pedido debe ser reconocible, no sorprendente. Reserve las pruebas para las campañas.