Çok değişkenli testler (MVT) ilk bakışta güçlü görünür - birkaç öğeyi aynı anda test edebilir ve etkileşimlerini tanıyabilirsiniz.
Ancak pratikte, trafiğe aç, istatistiksel olarak karmaşık ve çoğu web sitesi için çok yavaş.
MVT yalnızca ayda birkaç yüz bin ziyaretçi veya 5% üzerindeki dönüşüm oranları için anlamlıdır.
O zamana kadar: İyi planlanmış A/B/n testleri geçerli bulguları daha hızlı sunar.
Çok değişkenli testler aslında ne yapar?
Çok değişkenli bir test çeşitli unsurları aynı anda test eder.
Örnek:
2 başlık × 2 resim × 2 düğme test edersiniz → bu 8 kombinasyon ile sonuçlanır.
Her kombinasyon trafikten payını alır - eşit olarak dağıtılırsa ziyaretçilerin yalnızca 1/8'i.
İşte sorun da tam olarak burada yatıyor: Varyant başına trafik dramatik bir şekilde azalıyor ve bununla birlikte verilerinizin anlamlılığı da azalıyor.
Sonuç: Testler çok daha uzun sürer, anlamlılığa daha geç ulaşılır ve bu arada diğer deneyleri engellersiniz.
Çok değişkenli testler neden nadiren faydalıdır?
1. Trafik çok fazla değişkene yayılmış durumda
Daha fazla kombinasyon, ziyaretçilerinizin birçok gruba yayılması anlamına gelir. Bu da istatistiksel gücü (yani gerçek etkileri fark etme kabiliyetini) azaltır.2. testler sonsuza kadar sürer
Aylık 100.000 ziyaretçiyle bile bir sonuç görmeniz aylar alabilir - oysa basit bir A/B testiyle uzun zaman önce birkaç geçerli bilgi elde edebilirdiniz.
3. daha karmaşık istatistikler ve daha yüksek hata oranı
Her ek varyant rastgele yanlış bir kazanan bulma riskinizi artırır (buna alfa hata birikimi denir).
Ne kadar çok test yaparsanız, bir varyantın öyle olmadığı halde yanlışlıkla daha iyi görünme ihtimali o kadar artar. Bu aynı zamanda "çoklu karşılaştırma sorunu" olarak da bilinir.
4 Küçük etkiler, büyük çaba
MVT'ler genellikle yalnızca ince ayar etkilerini gösterir - örneğin A düğmesinin B başlığıyla minimum düzeyde daha iyi performans göstermesi gibi. Uygulamada, bu tür mini etkiler genellikle çabayı haklı çıkaracak kadar önemli değildir."Güç" gerçekten ne anlama geliyor (basitçe açıklanmıştır)
Bir testin gücü, gerçekte gerçek bir etkiyi tespit etme olasılığınızı tanımlar.
Örneğin, bir testin gücü 80 % ise, bu, gerçek bir fark varsa, bunu istatistiksel olarak da 10 vakanın 8'inde bulacağınız anlamına gelir.
Her 10 vakadan 2'sinde (20 %) yanlışlıkla hiçbir etki olmadığına inanırsınız.
Yükseltme ne kadar küçük olursa, aynı güç değerini korumak için daha fazla ziyaretçiye ihtiyacınız olur.
Bu nedenle 8 kombinasyonlu bir MVT, basit bir A/B testi ile aynı güce ulaşmak için çok daha fazla trafiğe ihtiyaç duyar.
Neden varyant başına en az 500 dönüşüme ihtiyacınız var?
CRO uygulamasının kaba bir kuralı şudur:
Makul ölçüde istikrarlı bir açıklama yapabilmek için varyant başına en az 500 dönüşüm gereklidir.
Bunun üç nedeni vardır:
- Dönüşüm oranları çok küçük örneklerde aşırı derecede dalgalanır - küçük tesadüfler sonucu bozabilir.
- Varyant başına olay sayısı çok küçükse araçlar temiz anlamlılık testleri yapamaz.
- Yaklaşık 500 dönüşümden itibaren dağılım sabitleşir, böylece küçük farklar bile görünür hale gelir.
Önemli: Bu, varyant başına - yani bir MVT'deki her kombinasyon için de geçerlidir.
8 kombinasyonunuz varsa, sadece temel gereksinimi karşılamak için en az 8 × 500 = 4000 dönüşüme ihtiyacınız vardır.
Dönüşüm oranına bağlı olarak, bu hızlı bir şekilde yüz binlerce ziyaretçi çekebilir.
Alfa hatası: Neden daha fazla varyant riski artırır?
alpha hatası (birinci tür hata), gerçek bir fark olmamasına rağmen yanlışlıkla bir varyantı kazanan olarak tanımlama olasılığını tanımlar.
Bir örnek:
5 % (α=0.05\alpha=0{,}05α=0.05) anlamlılık düzeyi ile çalışıyorsanız, bu şu anlama gelir
- 20 testten 1'i gerçek bir etki olmamasına rağmen "anlamlı" bir sonuç vermektedir.
Şimdi 8 kombinasyonu test ederseniz, bu 5 % hata oranı her karşılaştırma için uygulanacaktır.
En az bir yanlış sonucun ortaya çıkma riski önemli ölçüde artar - 30 %'nin üzerine çıkar. Bunu önlemek için anlamlılık eşiği ayarlanmalıdır (örneğin Bonferroni düzeltmesi ile).
Anlamlılık düzeyi karşılaştırma sayısına bölünür, örneğin 0,05 / 7 = 0,0071.
Bu, yanlış alarmlara karşı koruma sağlar - ancak aynı güce ulaşmak için daha fazla trafiğe ihtiyacınız vardır.
Çok değişkenli testler ne zaman faydalı olur?
Burada, 5 % beklenen artış, 80 % güç ve Bonferroni düzeltmesi dikkate alındığında basitleştirilmiş bir genel bakış yer almaktadır. Yalnızca varyant başına ≥ 500 dönüşüm içeren değerler gösterilmektedir:
| Temel CR | Kombinasyonlar | Varyant başına ziyaretçi | Toplam ziyaretçi |
|---|---|---|---|
|
1 % |
4 |
849 667
|
3.4 milyon
|
|
2 % |
4 |
420 434
|
1,68 milyon
|
|
3 % |
8 |
338 506
|
2,71 milyon |
|
4 % |
8 |
199 032
|
1,59 milyon
|
|
5 % |
8 |
91 795 |
734 000 |
Yorumlama:
- 3 % dönüşüm oranı altında, 5 % artışını temiz bir şekilde kanıtlamak için 8 kombinasyonlu küçük bir MVT için bile 2 milyondan fazla ziyaretçiye ihtiyacınız vardır.
- Sadece 5 % dönüşüm oranı ve yüz binlerce aylık ziyaretçi ile MVT gerçekçi hale gelir.
- Çoğu web sitesi için bu verimli değildir - A/B/n testi daha hızlı, daha temiz bulgular sunar.
MVT'yi gerçekten ne zaman kullanmalısınız
Çok değişkenli bir test sadece şu durumlarda faydalıdır:
- Zaten büyük bir A/B başarısı elde ettiniz ve şimdi ince ayar yapmak istiyorsunuz,
- Test sayfasında ayda en az 500.000 ziyaretçiniz veya 5 % üzerinde dönüşüm oranınız varsa,
- planlama, istatistik ve QA'yı düzgün bir şekilde yönetmek için yeterli kaynağınız var.
Diğer tüm durumlarda, bir A/B/n kurulumu ile çok daha iyi durumda olursunuz.
Sonuç
Çok değişkenli testler güçlü bir araçtır - ancak yalnızca doğru koşullar altında.
Uygulamada, genellikle bilgi kazanımından daha fazla çabaya neden olurlar.
Çok az trafiğiniz varsa, aylar süren çalışma süresinden sonra yanlış sonuçlar veya anlamlı olmayan testler riskiyle karşı karşıya kalırsınız.
Pazarlamacılar için sonuç:
Net hipotezlere sahip A/B/n testlerine odaklanın, geçerli sonuçlara daha hızlı ulaşın ve çok değişkenli testlere yalnızca gerekli miktarda veriyi karşılayabildiğinizde geçin.
