Como fazer teste A/B em uma newsletter

Fazer teste A/B em uma newsletter é enviar duas versões do mesmo e-mail, iguais em tudo menos em um elemento, para dois grupos sorteados da lista, e ver qual delas rende mais na métrica que interessa. Quase toda ferramenta de e-mail marketing traz a função pronta: você escreve as duas versões, escolhe o tamanho da amostra e o critério de vitória, e o sistema cuida do sorteio e da contagem.

A parte que dá trabalho é escolher o que testar, definir como medir e saber quando o resultado merece confiança. Se o conceito ainda é novo para você, o artigo sobre o que é teste A/B explica a base.

O passo a passo

1. Escreva a hipótese em uma frase. Por exemplo: "assunto que cita o nome do produto gera mais cliques que assunto genérico". Sem hipótese, o teste vira sorteio de ideias e o resultado não ensina nada para o envio seguinte.
2. Mude um elemento só. Se a versão B tem outro assunto e outro botão, você fica sem saber qual dos dois causou a diferença.
3. Deixe a ferramenta sortear os grupos. Dividir na mão (versão A para clientes antigos, B para contatos novos) compara públicos, e o que você queria comparar eram os e-mails.
4. Defina a métrica e o prazo antes de enviar. Quem decide depois de ver os números tende a escolher a métrica em que a versão preferida ganhou.
5. Dispare as duas versões no mesmo momento, a menos que o horário seja justamente o que está em teste.
6. Anote o resultado em uma planilha simples, com data, hipótese, números de cada versão e a decisão tomada. Em seis meses essa planilha vale por um manual da sua lista.

Há dois jeitos de dividir a base. No primeiro, metade recebe A e metade recebe B, e o que você aprende só é aproveitado no próximo envio. No segundo, uma parte da lista (20%, digamos) recebe o teste, a ferramenta espera algumas horas e manda a versão vencedora para os 80% restantes. O segundo aproveita o resultado na mesma campanha, mas só funciona em lista grande, porque a amostra de teste precisa ter gente suficiente para a diferença aparecer.

O que vale a pena testar

Comece pelo que mais gente vê. O assunto e o nome do remetente aparecem para a lista inteira; a cor do botão, só para quem abriu e rolou a mensagem até ele. Por isso, mexer no assunto costuma produzir diferenças maiores que mexer em detalhe de layout.

O texto do botão merece atenção separada, e o artigo sobre call to action ajuda a formular as variações.

Qual métrica decide o vencedor

Durante anos, teste de assunto foi decidido pela taxa de abertura. Hoje ela engana. Desde 2021, o aplicativo de e-mail da Apple carrega as imagens da mensagem antes de a pessoa ler, e a ferramenta registra uma abertura que pode não ter acontecido. Em uma lista com muitos usuários de iPhone, a abertura sobe sem que ninguém tenha lido nada.

O clique não sofre desse problema, porque exige uma ação da pessoa. Use a taxa de cliques sobre e-mails entregues como critério principal e deixe a abertura como sinal complementar. Quando o e-mail leva a uma compra, a um cadastro ou a um pedido de orçamento, vale ir um passo adiante e comparar as conversões de cada versão: marque os links de A e de B com parâmetros diferentes e veja no GA4 ou no CRM de qual das duas vieram os resultados.

Olhe também a taxa de descadastro. Um assunto exagerado pode ganhar em cliques e perder contatos que demoraram meses para entrar na base.

Quando dá para confiar no resultado

Uma lista de 2.000 contatos dividida ao meio dá 1.000 pessoas por versão. Se a versão A teve 30 cliques e a B teve 36, a diferença parece de 20%, só que são seis pessoas. Repita o mesmo envio na semana seguinte e é bem possível que a ordem se inverta.

Com base pequena, o caminho é testar diferenças grandes (dois assuntos com abordagens opostas, e não duas versões que trocam uma palavra) e repetir a mesma hipótese em três ou quatro envios antes de adotar a conclusão. Se a versão B ganhar todas as vezes, você tem um padrão. Se ganhar duas e perder duas, trate como empate e passe para a próxima hipótese.

O prazo de leitura também conta. Parte da lista abre o e-mail na hora, parte só no dia seguinte. Fechar o teste depois de duas horas favorece a versão que agrada a quem estava com o celular na mão naquele momento. Esperar um dia inteiro é uma margem segura para a maioria das listas, e o artigo sobre por quanto tempo rodar um teste A/B detalha o raciocínio para páginas de site.

Com que frequência testar

Todo envio pode carregar um teste, e isso não significa mandar mais e-mails. O ritmo da newsletter continua o mesmo, definido pelo que a lista aguenta receber (há um artigo nosso só sobre a frequência de envio). O que muda é que cada edição sai em duas versões.

Uma empresa que envia uma newsletter por semana consegue fechar quatro hipóteses por mês se cada uma se resolver em um envio, ou uma por mês se precisar das repetições descritas acima. Nos dois casos, vale manter uma fila de hipóteses na mesma planilha dos resultados, para o teste da semana não ser decidido na hora de agendar o disparo.

Depois do teste

O resultado de um teste vale para aquela lista, naquele tipo de mensagem. Um assunto em tom de urgência pode funcionar em e-mail de promoção e irritar em newsletter de conteúdo. Por isso a anotação precisa registrar o contexto, e não só quem ganhou.

Para o próximo envio, escolha uma hipótese de assunto, configure a divisão na ferramenta e defina a taxa de cliques como critério. Esse primeiro teste também mostra quantos cliques a sua lista gera por envio, e é esse número que diz se as próximas hipóteses se resolvem em uma edição ou vão precisar de repetição.