O que não fazer em um teste A/B

Um teste A/B compara duas versões de uma página, de um anúncio ou de um e-mail para descobrir qual gera mais resultado. A mecânica é simples, e por isso os erros passam despercebidos: a ferramenta sempre aponta uma vencedora, mesmo quando a diferença é fruto do acaso. Os oito erros abaixo são os que mais vemos invalidar testes.

Começar sem hipótese e sem métrica definida

Trocar o título "para ver o que acontece" rende um número e nenhuma lição. Uma hipótese tem causa e efeito esperado: "os visitantes não encontram o prazo de entrega; se o título informar o prazo, mais gente pede orçamento". Ganhando ou perdendo, o teste ensina algo sobre o público.

Defina também, antes de começar, qual número decide o teste. Se a página existe para gerar pedidos de orçamento, a métrica é pedido de orçamento. Quem escolhe depois, olhando o relatório, acaba elegendo o indicador em que a versão preferida se saiu melhor.

Mudar tudo ao mesmo tempo

Se a versão B tem outro título, outra imagem, outro botão e um formulário menor, e ela ganha, fica impossível saber o que causou o ganho. O teste A/B clássico isola uma variável.

Existe uma exceção legítima, que é comparar duas páginas inteiramente diferentes para escolher entre dois conceitos. Serve quando a página atual vai mal e ajustes pequenos não resolveriam. O resultado diz qual conceito seguir, sem explicar o motivo, e os testes de elemento vêm depois.

Gastar os testes com a cor do botão

Mudança pequena produz efeito pequeno, e efeito pequeno exige um volume enorme de visitas para ser detectado. A cor do botão raramente altera a decisão de alguém, desde que ele já tenha contraste com o fundo. Cor pesa na identidade da marca, assunto do texto sobre psicologia das cores, e pouco no resultado de um teste.

Costumam mexer mais nos números a oferta, o título, a quantidade de campos do formulário, a ordem das informações, a presença de preço e de depoimentos e, no e-mail, o assunto.

Encerrar o teste quando uma versão sai na frente

Nas primeiras horas, é comum uma versão abrir 50% ou 90% de vantagem. Com dez conversões de um lado e seis do outro, a diferença é ruído. Quem acompanha o painel todo dia e para no momento em que a favorita lidera está, sem perceber, escolhendo o resultado, já que em algum ponto do percurso quase toda versão aparece na frente.

A saída é decidir antes o tamanho da amostra e a duração, e só olhar o veredito no fim. Explicamos o cálculo no texto sobre por quanto tempo fazer um teste A/B.

Decidir com amostra pequena

Significância estatística mede quão improvável seria ver aquela diferença se as duas versões fossem, na verdade, iguais. O padrão de mercado é exigir 95% de confiança. O volume necessário para chegar lá depende da taxa de conversão atual e do tamanho da melhora que se quer detectar.

Um exemplo dá a ordem de grandeza. Uma página converte 3% dos visitantes e a hipótese é que a nova versão chegue a 3,6%, um ganho relativo de 20%. Para detectar essa diferença com segurança, as calculadoras de amostra pedem algo em torno de 14 mil visitantes por versão. Um site com 2 mil visitas por mês levaria mais de um ano.

Para quem tem pouco tráfego, há caminhos honestos. Um é testar mudanças grandes, que produzem diferenças grandes e pedem amostra menor. Outro é testar onde há volume, como anúncios e assuntos de e-mail, usando os recursos de experimento que Google Ads, Meta Ads e as plataformas de envio já trazem. O Google Optimize, que muita gente usava para testar páginas, foi descontinuado em 2023, e hoje esse tipo de teste depende de ferramentas de terceiros ou do próprio construtor de páginas. Quando nada disso é viável, resta aplicar boas práticas e comparar o antes e o depois, sabendo que essa comparação é menos confiável.

Rodar menos de uma semana inteira

O comportamento muda ao longo da semana. Um e-commerce pode vender mais no domingo à noite, enquanto um serviço B2B recebe pedidos de segunda a quinta e quase nada no sábado. Um teste que roda de terça a sexta retrata só um pedaço do público.

Rode por semanas completas, no mínimo uma e de preferência duas, mesmo que a amostra seja atingida antes. O exagero oposto também atrapalha: testes que se arrastam por meses misturam sazonalidade, e parte dos visitantes limpa os cookies e passa a ver as duas versões.

Ignorar o que acontece fora do teste

Feriado, Black Friday, dia de pagamento, uma reportagem que cita a empresa, uma campanha nova no ar: tudo isso muda o perfil de quem chega ao site. Como as duas versões rodam ao mesmo tempo, o efeito atinge ambas, e o teste segue válido para aquele público. O risco está em generalizar. A versão que venceu durante uma liquidação, com o visitante caçando desconto, pode perder em um mês comum.

Anote no registro do teste o que aconteceu no período. E evite alterar verba, segmentação ou criativos das campanhas no meio do caminho, porque isso troca o público entre a primeira e a segunda metade.

Não registrar o resultado

Teste sem registro se repete um ano depois, por outra pessoa, com a mesma dúvida. Uma planilha com hipótese, período, amostra, resultado e decisão resolve. Inclua os testes sem vencedora: saber que o tamanho do título não muda nada naquela página evita gastar tráfego com isso de novo.

Uma última checagem antes de comemorar. Acompanhe a qualidade do que a versão vencedora trouxe, porque um formulário mais curto pode dobrar os leads e entregar ao comercial contatos piores. Se as vendas não acompanharem, a versão "perdedora" era a melhor.