Les tests multivariés (MVT) semblent puissants à première vue - tu peux tester plusieurs éléments en même temps et identifier leurs interactions.
Dans la pratique, ils sont cependant affamés par le trafic, statistiquement compliqués et pour la plupart des sites web, tout simplement trop lents.
Ce n'est qu'à partir de plusieurs centaines de milliers de visiteurs par mois ou de taux de conversion supérieurs à 5% qu'un MVT prend tout son sens.
En attendant, la règle est la suivante : Des tests A/B/n bien planifiés fournissent plus rapidement des informations valables.
Ce que font les tests multivariés
Un test multivarié examine plusieurs éléments en même temps.
Exemple:
Tu testes 2 titres × 2 images × 2 boutons → cela donne 8 combinaisons.
Chaque combinaison obtient sa part de trafic - si la répartition est égale, seulement 1/8 des visiteurs.
Et c'est là que réside le problème : le trafic par variante se réduit de manière dramatique, et donc aussi la valeur informative de tes données.
Résultat : les tests durent beaucoup plus longtemps, la significativité est atteinte plus tard, et tu bloques pendant ce temps d'autres expériences.
Pourquoi les tests multivariés sont rarement utiles
1. le trafic se répartit sur trop de variantes
Plus de combinaisons signifient que tes visiteurs sont répartis dans de nombreux groupes. Cela réduit la puissance statistique (c'est-à-dire la capacité à détecter les effets réels).2. les tests prennent une éternité
Même avec 100 000 visiteurs par mois, il peut s'écouler des mois avant que tu ne voies un résultat - alors qu'avec un simple test A/B, tu aurais déjà généré plusieurs enseignements valables.
3. des statistiques plus complexes et un taux d'erreur plus élevé
Chaque variante supplémentaire augmente ton risque de trouver par hasard un faux gagnant (c'est ce qu'on appelle le cumul d'erreurs alpha).
Plus tu testes, plus il y a de chances qu'une variante paraisse aléatoirement meilleure alors qu'elle ne l'est pas. C'est ce qu'on appelle aussi le "problème des comparaisons multiples".
4. petits effets, grands efforts
Les MVT ne montrent souvent que des effets de fine tuning - par exemple que le bouton A est légèrement plus performant avec la headline B. Dans la pratique, de tels mini-effets ne sont généralement pas assez pertinents pour justifier l'investissement.Ce que signifie vraiment "Power" (expliqué simplement)
La puissance d'un test décrit la probabilité que tu découvres réellement un effet réel.
Par exemple, si un test a une puissance de 80 %, cela signifie que si une vraie différence existe, tu la trouveras dans 8 cas sur 10 statistiquement.
Dans 2 cas sur 10 (20 %), tu croirais à tort qu'il n'y a pas d'effet.
Plus l'uplift est faible, plus il te faut de visiteurs pour maintenir la même valeur de puissance.
Un MVT avec 8 combinaisons nécessite donc beaucoup plus de trafic pour atteindre la même puissance qu'un simple test A/B.
Pourquoi il faut au moins 500 conversions par variante
Une règle approximative de la pratique CRO est la suivante :
Il faut au moins 500 conversions par variante pour pouvoir faire une déclaration à peu près stable.
Il y a trois raisons à cela :
- Avec de très petits échantillons, les taux de conversion varient extrêmement - de petites coïncidences peuvent fausser les résultats.
- Les outils ne peuvent pas effectuer de tests de signification propres si le nombre d'événements par variante est trop faible.
- À partir d'environ 500 conversions, la répartition se stabilise de telle sorte que même les petites différences deviennent visibles.
Important: Cela s'applique par variante - donc aussi à chaque combinaison pour un MVT.
Si tu as 8 combinaisons, il te faut au moins 8 × 500 = 4000 conversions, juste pour remplir la condition de base.
Selon le taux de conversion, cela nécessite rapidement des centaines de milliers de visiteurs.
L'erreur alpha : pourquoi plus de variantes augmentent le risque
L'erreur Alpha (erreur de 1er type) décrit la probabilité que tu identifies à tort une variante comme gagnante alors qu'il n'existe pas de réelle différence.
Un exemple:
Si tu travailles avec un niveau de signification de 5 % (α=0,05\alpha=0{,}05α=0,05), cela signifie que
- 1 test sur 20 donne un résultat "significatif" par hasard alors qu'il n'y a pas d'effet réel.
Si tu testes maintenant 8 combinaisons, ce taux d'erreur de 5 % sera appliqué pour chaque comparaison.
Le risque de voir apparaître au moins un résultat erroné augmente fortement - à plus de 30 %. Pour éviter cela, il faut ajuster le seuil de signification (par exemple avec la correction de Bonferroni).
Pour ce faire, on divise le niveau de signification par le nombre de comparaisons, soit par exemple 0,05 / 7 = 0,0071.
Cela protège contre les fausses alertes - mais tu as ainsi besoin de plus de trafic pour atteindre la même puissance.
A partir de quand les tests multivariés sont intéressants
Voici un aperçu simplifié si tu tiens compte de 5 % attendus pour l'uplift, 80 % Power et la correction de Bonferroni. Seules les valeurs avec ≥ 500 conversions par variante sont affichées :
| CR de base | Combinaisons | Visiteurs par variante | Total des visiteurs |
|---|---|---|---|
|
1 % |
4 |
849 667
|
3,4 millions
|
|
2 % |
4 |
420 434
|
1,68 million
|
|
3 % |
8 |
338 506
|
2,71 millions |
|
4 % |
8 |
199 032
|
1,59 million
|
|
5 % |
8 |
91 795 |
734 000 |
Interprétation :
- En dessous de 3 % taux de conversion, tu as déjà besoin de plus de 2 millions de visiteurs pour un petit MVT avec 8 combinaisons, afin de prouver proprement une montée en puissance de 5 %.
- Ce n'est qu'à partir de > 5 % taux de conversion et de centaines de milliers de visiteurs mensuels qu'un MVT devient réaliste.
- Pour la plupart des sites, ce n'est tout simplement pas efficace - un test A/B/n fournit des conclusions plus rapides et plus propres.
Quand tu devrais vraiment utiliser MVT
Un test multivarié ne vaut la peine que si :
- tu as déjà obtenu de grands succès A/B et que tu souhaites maintenant les peaufiner,
- tu as au moins 500 000 visiteurs par mois sur la page de test ou un taux de conversion supérieur à 5 %,
- tu as suffisamment de ressources pour gérer proprement la planification, les statistiques et l'AQ.
Dans tous les autres cas, tu es nettement mieux conseillé avec une configuration A/B/n.
Conclusion
Les tests multivariés sont un outil puissant - mais seulement dans des conditions correctes.
Dans la pratique, elles entraînent souvent plus de dépenses que de gains de connaissances.
Ceux qui ont peu de trafic risquent tout simplement des conclusions erronées ou des tests non-significatifs après des mois de fonctionnement.
Conclusion pour les spécialistes du marketing :
Focalise-toi sur les tests A/B/n avec des hypothèses claires, obtiens des résultats valides plus rapidement - et ne passe aux tests multivariés que lorsque tu peux te permettre d'utiliser la quantité de données nécessaire.
