Aprenda
Domine a ferramenta e o conceito por trás dela
Teste A/B é o método de decidir por dado: metade dos visitantes vê a versão A (atual), metade vê a versão B (desafio), e o vencedor é o que converte mais: com confiança estatística, não com opinião. Parece simples; a prática derruba a maioria dos testes por erros que nenhum manual cita. Este guia cobre o método completo e os erros.
O que é (e o que NÃO é) teste A/B
- É: comparação simultânea de 2 versões com tráfego dividido aleatoriamente e métrica de conversão definida antes.
- Não é: trocar a página e comparar 'este mês vs. mês passado' (sazonalidade contamina tudo).
- Não é: testar 12 ideias ao mesmo tempo na mesma página (sem hipótese, o resultado não ensina nada).
- Não é: encerrar no primeiro dia com resultado positivo: teste curto demais mente.
O processo completo em 6 etapas
- 1. Dado antes de ideia: heatmaps, gravações e analytics revelam onde a página vaza (não comece pela opinião do diretor).
- 2. Hipótese estruturada: 'Se [mudança], então [métrica] melhora [X%], porque [motivo comportamental]'. Sem o 'porque', o teste não ensina.
- 3. Priorização: teste primeiro o que tem maior impacto × menor esforço (botão e headline valem mais que redesign completo).
- 4. Configuração: conversão rastreada, amostra calculada, tráfego 50/50, teste QA no celular real antes do ar.
- 5. Execução: NÃO mexa no teste durante a execução; aguarde a amostra calculada (a calculadora acima dá o número).
- 6. Leitura e documento: vencedor, aprendizado e próxima hipótese registrados: teste sem documento é teste repetido à toa.
Os 7 erros que invalidam resultados
| Erro | Consequência |
|---|---|
| Encerrar ao primeiro pico de significância | Falso positivo: o 'vencedor' não se repete no mês seguinte |
| Teste sem amostra mínima calculada | Resultado aleatório disfarçado de decisão |
| Mudar a página durante o teste | Amostra contaminada; dados inutilizáveis |
| Testar em temporada de pico (Black Friday) | Comportamento atípico vira regra |
| Métrica errada (cliques em vez de conversão) | Você otimiza curiosidade, não negócio |
| Ignorar a variável externa (campanha nova rodando) | O efeito da campanha atribuído à variação |
| Testar micro-detallhes em página com tráfego baixo | Teste que nunca fecha: priorize mudanças maiores |
Teste A/B é o freio de ouro do achismo: com amostra correta e paciência, ele protege você de 'melhorias' que derrubam conversão: e valida as que multiplicam. A calculadora acima existe exatamente para isso: decidir ANTES se o teste é viável com seu tráfego.
Teste A/B vs Split URL vs Multivariado: qual usar?
| Método | Quando usar | Exemplo |
|---|---|---|
| Teste A/B | Mudanças pontuais na MESMA URL (elemento por elemento) | Cor de botão, headline, posição de formulário |
| Split URL (divisão de página) | Redesigns completos ou fluxos diferentes em URLs separadas | Landing page nova vs atual, dois fluxos de checkout |
| Multivariado (MVT) | Testar combinações de MÚLTIPLOS elementos de uma vez | Headline (3) × imagem (2) × CTA (2) = 12 combinações |
| Quando NÃO testar | Tráfego baixo demais para amostra: faça mudanças grandes guiadas por dado e meça antes/depois | Site com 200 visitas/mês |
Quer testar sem virar estatístico? A M&C roda o programa de CRO completo: análise comportamental, hipóteses priorizadas, execução dos testes e leitura honesta dos resultados: com o pipeline de conversão acompanhado mês a mês.