Os testes multivariados (MVT) parecem poderosos à primeira vista: você pode testar vários elementos simultaneamente e reconhecer suas interações.
Na prática, no entanto, eles consomem muito tráfego, são estatisticamente complicados e simplesmente lentos demais para a maioria dos sites.
Um MVT só faz sentido a partir de várias centenas de milhares de visitantes por mês ou taxas de conversão acima de 5%.
Até lá: Testes A/B/n bem planejados fornecem resultados válidos mais rapidamente.
O que os testes multivariados realmente fazem
Um teste multivariado testa vários elementos simultaneamente.
Exemplo:
Você testa 2 títulos × 2 imagens × 2 botões → isso resulta em 8 combinações.
Cada combinação recebe sua parte do tráfego - apenas 1/8 dos visitantes se distribuídos igualmente.
E é exatamente aí que reside o problema: o tráfego por variante diminui drasticamente e, com ele, a importância de seus dados.
Resultado: os testes levam muito mais tempo, a significância é alcançada mais tarde e você bloqueia outros experimentos nesse meio tempo.
Por que os testes multivariados raramente são úteis
1. o tráfego é distribuído em muitas variantes
Mais combinações significam que seus visitantes estão espalhados por muitos grupos. Isso reduz o poder estatístico (ou seja, a capacidade de reconhecer efeitos reais).2. os testes demoram muito
Mesmo com 100.000 visitantes por mês, pode levar meses até que você veja um resultado - enquanto você teria gerado vários aprendizados válidos há muito tempo com um simples teste A/B.
3. estatísticas mais complexas e maior taxa de erro
Cada variante adicional aumenta seu risco de encontrar aleatoriamente um falso vencedor (isso é chamado de acumulação de erro alfa).
Quanto mais testes forem feitos, maior será a chance de uma variante parecer melhor por acidente, mesmo que não seja. Isso também é conhecido como o "problema da comparação múltipla".
4 Pequenos efeitos, grande esforço
Os MVTs geralmente mostram apenas efeitos de ajuste fino, por exemplo, que o botão A tem um desempenho minimamente melhor com o título B. Na prática, esses mini-efeitos geralmente não são relevantes o suficiente para justificar o esforço.O que "poder" realmente significa (explicado de forma simples)
A potência de um teste descreve a probabilidade de você realmente detectar um efeito real.
Por exemplo, se um teste tiver um poder de 80 %, isso significa que, se houver uma diferença real, você também a encontrará estatisticamente em 8 de 10 casos.
Em 2 de cada 10 casos (20 %), você acreditaria falsamente que não há efeito.
Quanto menor for o aumento, mais visitantes você precisará para manter o mesmo valor de potência.
Portanto, um MVT com 8 combinações precisa de muito mais tráfego para obter o mesmo poder de um teste A/B simples.
Por que você precisa de pelo menos 500 conversões por variante
Uma regra geral da prática de CRO é:
São necessárias pelo menos 500 conversões por variante para que seja possível fazer uma afirmação razoavelmente estável.
Há três motivos para isso:
- As taxas de conversão flutuam extremamente com amostras muito pequenas - pequenas coincidências podem distorcer o resultado.
- As ferramentas não podem realizar testes de significância limpos se os eventos por variante forem muito pequenos.
- A partir de cerca de 500 conversões, a distribuição se estabiliza, de modo que até mesmo pequenas diferenças se tornam visíveis.
Importante: Isso se aplica por variante, ou seja, também para cada combinação em um MVT.
Se você tiver 8 combinações, precisará de pelo menos 8 × 500 = 4.000 conversões apenas para atender ao requisito básico.
Dependendo da taxa de conversão, isso pode atrair rapidamente centenas de milhares de visitantes.
O erro alfa: por que mais variantes aumentam o risco
O erro alfa (erro do primeiro tipo) descreve a probabilidade de você identificar erroneamente uma variante como a vencedora, mesmo que não haja nenhuma diferença real.
Um exemplo:
Se você estiver trabalhando com um nível de significância de 5 % (α=0,05\alpha=0{,}05α=0,05), isso significa que
- 1 em cada 20 testes apresenta um resultado "significativo", embora não exista nenhum efeito real.
Se você agora testar 8 combinações, essa taxa de erro de 5 % será aplicada para cada comparação.
O risco de ocorrência de pelo menos um resultado falso aumenta significativamente - para mais de 30 %. Para evitar isso, o limite de significância deve ser ajustado (por exemplo, com a correção de Bonferroni).
O nível de significância é dividido pelo número de comparações, por exemplo, 0,05 / 7 = 0,0071.
Isso protege contra alarmes falsos, mas você precisa de ainda mais tráfego para obter a mesma potência.
Quando os testes multivariados valem a pena
Aqui está uma visão geral simplificada se você levar em conta 5 % de aumento esperado, 80 % de potência e correção Bonferroni. Somente os valores com ≥ 500 conversões por variante são mostrados:
| CR básico | Combinações | Visitantes por variante | Total de visitantes |
|---|---|---|---|
|
1 % |
4 |
849 667
|
3,4 milhões
|
|
2 % |
4 |
420 434
|
1,68 milhão
|
|
3 % |
8 |
338 506
|
2,71 milhões |
|
4 % |
8 |
199 032
|
1,59 milhão
|
|
5 % |
8 |
91 795 |
734 000 |
Interpretação:
- Com 3 taxas de conversão de %, você precisa de mais de 2 milhões de visitantes, mesmo para um MVT pequeno com 8 combinações, para comprovar claramente um aumento de 5 %.
- Somente a partir de 5 % de taxa de conversão e centenas de milhares de visitantes mensais é que um MVT se torna realista.
- Para a maioria dos sites, isso simplesmente não é eficiente - um teste A/B/n proporciona resultados mais rápidos e mais limpos.
Quando você realmente deve usar o MVT
Um teste multivariado só vale a pena se:
- Você já obteve grande sucesso A/B e agora deseja fazer o ajuste fino,
- você tem pelo menos 500.000 visitantes por mês na página de teste ou uma taxa de conversão acima de 5 %,
- você tem recursos suficientes para gerenciar o planejamento, as estatísticas e o controle de qualidade adequadamente.
Em todos os outros casos, é muito melhor usar uma configuração A/B/n.
Conclusão
Os testes multivariados são uma ferramenta poderosa, mas somente sob as condições corretas.
Na prática, eles geralmente causam mais esforço do que ganho de conhecimento.
Se você tiver pouco tráfego, simplesmente corre o risco de tirar conclusões falsas ou testes não significativos após meses de execução.
Conclusão para os profissionais de marketing:
Concentre-se em testes A/B/n com hipóteses claras, obtenha resultados válidos mais rapidamente e só mude para testes multivariados quando puder arcar com a quantidade necessária de dados.
