I test multivariati (MVT) sembrano potenti a prima vista: è possibile testare diversi elementi contemporaneamente e riconoscerne le interazioni.
In pratica, però, sono affamati di traffico, complicati dal punto di vista statistico e semplicemente troppo lenti per la maggior parte dei siti web.
Un MVT ha senso solo a partire da molte centinaia di migliaia di visitatori al mese o tassi di conversione superiori a 5%.
Fino ad allora: Test A/B/n ben pianificati forniscono risultati validi più rapidamente.
Cosa fanno i test multivariati
Un test multivariato testa diversi elementi contemporaneamente.
Esempio:
Si testano 2 titoli × 2 immagini × 2 pulsanti → si ottengono così 8 combinazioni.
Ogni combinazione ottiene la sua parte di traffico - solo 1/8 dei visitatori se distribuiti uniformemente.
Ed è proprio qui che sta il problema: il traffico per variante si riduce drasticamente, e con esso la significatività dei vostri dati.
Risultato: i test richiedono molto più tempo, la significatività viene raggiunta più tardi e nel frattempo si bloccano altri esperimenti.
Perché i test multivariati sono raramente utili
1. il traffico è distribuito su troppe varianti
Un maggior numero di combinazioni significa che i visitatori sono distribuiti in molti gruppi. Questo riduce la potenza statistica (cioè la capacità di riconoscere gli effetti reali).2. i test durano un'eternità
Anche con 100.000 visitatori al mese, possono passare mesi prima di vedere un risultato, mentre con un semplice test A/B avreste generato diversi insegnamenti validi molto tempo fa.
3. statistiche più complesse e tasso di errore più elevato
Ogni variante aggiuntiva aumenta il rischio di trovare casualmente un falso vincitore (questo si chiama accumulo di errori alfa).
Più test si fanno, maggiore è la possibilità che una variante appaia accidentalmente migliore, anche se non lo è. Questo è noto anche come "problema del confronto multiplo". Questo è noto anche come "problema del confronto multiplo".
4. Piccoli effetti, grandi sforzi
Gli MVT spesso mostrano solo effetti di regolazione fine, ad esempio che il pulsante A ha prestazioni minimamente migliori con il titolo B. In pratica, questi mini-effetti non sono abbastanza rilevanti da giustificare lo sforzo.Cosa significa veramente "potere" (spiegato in modo semplice)
La potenza di un test descrive la probabilità di rilevare effettivamente un effetto reale.
Ad esempio, se un test ha una potenza di 80 %, significa che se esiste una differenza reale, la si troverà anche statisticamente in 8 casi su 10.
In 2 casi su 10 (20 %) si potrebbe falsamente credere che non vi sia alcun effetto.
Più piccolo è l'innalzamento, più visitatori sono necessari per mantenere lo stesso valore di potenza.
Un MVT con 8 combinazioni ha quindi bisogno di molto più traffico per ottenere la stessa potenza di un semplice A/B test.
Perché avete bisogno di almeno 500 conversioni per variante
Una regola approssimativa della pratica CRO è la seguente:
Sono necessarie almeno 500 conversioni per variante per poter fare una dichiarazione ragionevolmente stabile.
Le ragioni sono tre:
- I tassi di conversione sono estremamente fluttuanti con campioni molto piccoli: piccole coincidenze possono falsare il risultato.
- Gli strumenti non possono eseguire test di significatività puliti se gli eventi per variante sono troppo piccoli.
- A partire da circa 500 conversioni, la distribuzione si stabilizza in modo tale da rendere visibili anche piccole differenze.
Importante: Questo vale per variante, cioè anche per ogni combinazione in un MVT.
Se avete 8 combinazioni, avete bisogno di almeno 8 × 500 = 4000 conversioni solo per soddisfare il requisito di base.
A seconda del tasso di conversione, questo può attrarre rapidamente centinaia di migliaia di visitatori.
L'errore alfa: perché più varianti aumentano il rischio
L'errore alfa (errore del primo tipo) descrive la probabilità di identificare erroneamente una variante come vincente, anche se non c'è alcuna differenza reale.
Un esempio:
Se si lavora con un livello di significatività di 5 % (α=0,05\alpha=0{,}05α=0,05), ciò significa che
- 1 test su 20 fornisce un risultato "significativo", anche se non esiste un effetto reale.
Se ora si testano 8 combinazioni, questo tasso di errore di 5 % verrà applicato per ogni confronto.
Il rischio che si verifichi almeno un risultato falso aumenta in modo significativo, fino a oltre 30 %. Per evitare ciò, la soglia di significatività deve essere aggiustata (ad esempio con la correzione di Bonferroni).
Il livello di significatività viene diviso per il numero di confronti, ad esempio 0,05 / 7 = 0,0071.
Questo protegge dai falsi allarmi, ma per ottenere la stessa potenza è necessario un traffico ancora maggiore.
Quando i test multivariati sono utili
Ecco una panoramica semplificata se si tiene conto di 5 % di aumento previsto, 80 % di potenza e correzione di Bonferroni. Vengono mostrati solo i valori con ≥ 500 conversioni per variante:
| CR di base | Combinazioni | Visitatori per variante | Visitatori totali |
|---|---|---|---|
|
1 % |
4 |
849 667
|
3,4 milioni di euro
|
|
2 % |
4 |
420 434
|
1,68 milioni di euro
|
|
3 % |
8 |
338 506
|
2,71 milioni di euro |
|
4 % |
8 |
199 032
|
1,59 milioni
|
|
5 % |
8 |
91 795 |
734 000 |
Interpretazione:
- Con un tasso di conversione di 3 %, sono necessari oltre 2 milioni di visitatori anche per un piccolo MVT con 8 combinazioni per dimostrare chiaramente un aumento di 5 %.
- Solo a partire da 5 tassi di conversione % e centinaia di migliaia di visitatori mensili un MVT diventa assolutamente realistico.
- Per la maggior parte dei siti web, questo non è semplicemente efficiente: un test A/B/n fornisce risultati più rapidi e puliti.
Quando è opportuno utilizzare MVT
Un test multivariato è utile solo se:
- avete già ottenuto un grande successo A/B e ora volete perfezionarlo,
- avete almeno 500.000 visitatori al mese sulla pagina di prova o un tasso di conversione superiore a 5 %,
- avete risorse sufficienti per gestire correttamente pianificazione, statistiche e QA.
In tutti gli altri casi, è molto meglio utilizzare una configurazione A/B/n.
Conclusione
I test multivariati sono uno strumento potente, ma solo nelle condizioni giuste.
In pratica, spesso causano più sforzi che guadagni di conoscenza.
Se il traffico è scarso, si rischiano semplicemente conclusioni errate o test non significativi dopo mesi di funzionamento.
Conclusione per gli operatori di mercato:
Concentratevi su test A/B/n con ipotesi chiare, ottenete più rapidamente risultati validi e passate ai test multivariati solo quando potete permettervi la quantità di dati necessaria.
