O que é teste A/B?

Teste A/B é um experimento com duas versões de uma mesma peça. Metade do público, escolhida por sorteio, vê a versão A; a outra metade vê a B, que tem uma única diferença. No fim, compara-se quantas pessoas de cada grupo fizeram o que se esperava delas: comprar, preencher um formulário, clicar.

Um exemplo. Uma escola de idiomas tem uma página de matrícula com o título "Conheça nossos cursos". Alguém da equipe acha que "Aula experimental gratuita nesta semana" traria mais inscrições. Em vez de trocar e torcer, a escola configura o teste: durante um mês, 2.000 visitantes veem o título antigo e 2.000 veem o novo. O antigo gera 60 inscrições, uma taxa de 3%. O novo gera 78, ou 3,9%. A escola adota o novo título e parte para a próxima hipótese.

Por que o resultado é confiável

A alternativa ao teste A/B é a comparação de antes e depois: troca-se o título no dia 1º e compara-se o mês com o anterior. O problema é que, de um mês para o outro, muda muita coisa além do título. Teve feriado, a concorrência fez promoção, a verba de anúncios subiu. Fica impossível separar o efeito da mudança do efeito do calendário.

No teste A/B, as duas versões enfrentam o mesmo feriado, a mesma concorrência e a mesma verba, porque rodam juntas. E o sorteio garante que os dois grupos sejam parecidos. O que sobra de diferença entre eles é a mudança que você fez.

O outro ganho é que o teste mede comportamento. Em pesquisa de opinião, a pessoa diz que prefere a página mais informativa; no teste, você vê em qual das duas ela de fato se cadastrou.

Onde o teste A/B se aplica

O método nasceu associado a lojas virtuais, mas serve para qualquer peça digital que receba volume de público e tenha um objetivo mensurável.

Páginas de site e landing pages

Título, texto do botão, número de campos do formulário, ordem das seções, presença de depoimentos. Em loja virtual, os pontos mais testados são a página de produto e as etapas do carrinho, porque é ali que a venda se perde.

Anúncios

Tanto o Google Ads quanto o Meta Ads têm recurso próprio de experimento, que divide o público e a verba entre duas variações de campanha. Dá para testar criativo, texto, público e estratégia de lance. É diferente de simplesmente deixar dois anúncios no mesmo conjunto: nesse caso a plataforma entrega mais o que ela julga melhor desde cedo, e a comparação fica desigual.

E-mail

Assunto, remetente, chamada para ação e horário de envio. As ferramentas de e-mail marketing trazem a função embutida. O passo a passo está no artigo sobre teste A/B em newsletter.

Ferramentas depois do Google Optimize

Por anos, a opção gratuita para testar páginas foi o Google Optimize, sucessor dos Experimentos de Conteúdo do antigo Analytics. O Google encerrou o Optimize em setembro de 2023 e não lançou substituto. O GA4 mede os resultados, mas não cria as variações nem divide o tráfego.

Hoje os caminhos são três:

• Ferramentas dedicadas, como VWO, Optimizely, AB Tasty e Convert. São pagas, voltadas a sites com bastante tráfego, e enviam os dados do experimento para o GA4.
• Recursos embutidos nas plataformas que você já usa. Muitos construtores de landing page, plataformas de e-commerce e ferramentas de automação de marketing têm teste A/B nativo. Para a maioria das empresas pequenas e médias, é por aqui que se começa.
• Os experimentos das plataformas de anúncio, para tudo que acontece antes do clique.

Como montar um teste

1. Parta de um problema visto nos dados. Uma página com muita visita e pouca conversão é melhor candidata que uma página escolhida por palpite.
2. Escreva a hipótese: o que vai mudar e por que isso deve aumentar a conversão.
3. Altere um elemento. Quando a versão B muda título, imagem e botão de uma vez, o teste diz se o pacote é melhor, mas não diz qual das mudanças fez efeito.
4. Defina a métrica de sucesso e a duração antes de começar.
5. Deixe rodar até o fim do prazo, mesmo que uma versão dispare na frente nos primeiros dias.

Esse último ponto é o que mais se descumpre. Resultado de três dias reflete quem visitou o site naqueles três dias. Um teste precisa atravessar pelo menos uma semana completa, para pegar o comportamento de dia útil e de fim de semana, e acumular conversões suficientes em cada versão. O artigo sobre por quanto tempo fazer um teste A/B trata só disso.

Quando o teste A/B não compensa

Com pouco tráfego, o teste não fecha. Uma página que recebe 300 visitas por mês e converte 2% gera seis cadastros. Dividida em duas versões, são três de cada lado, e qualquer diferença entre três e quatro é acaso. Nessa situação, rende mais fazer as melhorias evidentes (página lenta, formulário longo, oferta confusa) e investir em trazer visitantes. O teste passa a fazer sentido quando há volume para que os números das duas versões se distanciem de forma consistente.

Outro cuidado: boa parte dos testes termina em empate. Isso também é informação. Mostra que aquele elemento pesa pouco na decisão do visitante, e que a próxima hipótese deve mexer em algo maior, como a oferta ou o preço, em vez de mais uma cor de botão.