Multivariate Tests (MVT) wirken auf den ersten Blick mächtig – du kannst mehrere Elemente gleichzeitig testen und ihre Wechselwirkungen erkennen.
In der Praxis sind sie jedoch traffic-hungrig, statistisch kompliziert und für die meisten Websites schlicht zu langsam.
Erst ab mehreren hunderttausend Besuchern pro Monat oder Conversion-Rates über 5% ergibt ein MVT überhaupt Sinn.
Bis dahin gilt: Gut geplante A/B/n-Tests liefern schneller valide Erkenntnisse.
Was Multivariate Tests eigentlich machen
Ein Multivariater Test prüft mehrere Elemente gleichzeitig.
Beispiel:
Du testest 2 Headlines × 2 Bilder × 2 Buttons → das ergibt 8 Kombinationen.
Jede Kombination bekommt ihren Anteil am Traffic – bei gleichmäßiger Verteilung nur 1/8 der Besucher.
Und genau hier liegt das Problem: Der Traffic pro Variante schrumpft dramatisch, und damit auch die Aussagekraft deiner Daten.
Ergebnis: Tests dauern viel länger, Signifikanz wird später erreicht, und du blockierst in der Zeit andere Experimente.
Warum Multivariate Tests selten sinnvoll sind
1. Traffic verteilt sich auf zu viele Varianten
Mehr Kombinationen bedeuten, dass deine Besucher auf viele Gruppen verteilt werden. Das verringert die statistische Power (also die Fähigkeit, echte Effekte zu erkennen).2. Die Tests dauern ewig
Selbst bei 100 000 Besuchern pro Monat kann es Monate dauern, bis du ein Ergebnis siehst – während du mit einem einfachen A/B-Test längst mehrere valide Learnings generiert hättest.
3. Komplexere Statistik & höhere Fehlerrate
Jede zusätzliche Variante erhöht dein Risiko, zufällig einen falschen Gewinner zu finden (das nennt man Alpha-Fehler-Kumulierung).
Je mehr du testest, desto größer die Chance, dass eine Variante zufällig besser aussieht, obwohl sie es nicht ist. Das nennt man auch „Multiple Comparison Problem“.
4. Kleine Effekte, großer Aufwand
MVTs zeigen oft nur Feintuning-Effekte – z. B. dass Button A mit Headline B minimal besser performt. Solche Mini-Effekte sind in der Praxis meist nicht relevant genug, um den Aufwand zu rechtfertigen.Was „Power“ wirklich bedeutet (einfach erklärt)
Die Power eines Tests beschreibt die Wahrscheinlichkeit, dass du einen echten Effekt auch wirklich entdeckst.
Wenn ein Test z. B. eine Power von 80 % hat, bedeutet das: Wenn ein echter Unterschied existiert, wirst du ihn in 8 von 10 Fällen auch statistisch finden.
In 2 von 10 Fällen (20 %) würdest du fälschlicherweise glauben, es gäbe keinen Effekt.
Je kleiner der Uplift, desto mehr Besucher brauchst du, um denselben Power-Wert zu halten.
Ein MVT mit 8 Kombinationen braucht also viel mehr Traffic, um dieselbe Power zu erreichen wie ein einfacher A/B-Test.
Warum man mindestens 500 Conversions pro Variante braucht
Eine grobe CRO-Praxisregel lautet:
Mindestens 500 Conversions pro Variante sind nötig, um eine halbwegs stabile Aussage treffen zu können.
Das hat drei Gründe:
- Bei sehr kleinen Stichproben schwanken Conversion Rates extrem – kleine Zufälle können das Ergebnis verzerren.
- Tools können keine sauberen Signifikanztests durchführen, wenn die Ereignisse pro Variante zu gering sind.
- Ab etwa 500 Conversions stabilisiert sich die Verteilung so, dass selbst kleine Unterschiede sichtbar werden.
Wichtig: Das gilt pro Variante – also auch für jede Kombination bei einem MVT.
Wenn du 8 Kombinationen hast, brauchst du mindestens 8 × 500 = 4000 Conversions, nur um die Grundvoraussetzung zu erfüllen.
Das erfordert je nach Conversion Rate schnell hunderttausende Besucher.
Der Alpha-Fehler: Warum mehr Varianten das Risiko erhöhen
Der Alpha-Fehler (Fehler 1. Art) beschreibt die Wahrscheinlichkeit, dass du eine Variante fälschlich als Gewinner identifizierst, obwohl kein echter Unterschied existiert.
Ein Beispiel:
Wenn du mit einem Signifikanzniveau von 5 % arbeitest (α=0,05\alpha=0{,}05α=0,05), bedeutet das:
- 1 von 20 Tests liefert zufällig ein „signifikantes“ Ergebnis, obwohl kein echter Effekt existiert.
Wenn du nun 8 Kombinationen testest, wird diese 5 %-Fehlerrate für jeden Vergleich angewendet.
Das Risiko, dass mindestens ein falsches Ergebnis auftaucht, steigt stark an – auf über 30 %. Um das zu vermeiden, muss man die Signifikanzschwelle anpassen (z. B. mit der Bonferroni-Korrektur).
Dabei teilt man das Signifikanzniveau durch die Anzahl der Vergleiche, also z. B. 0,05 / 7 = 0,0071.
Das schützt vor Fehlalarmen – aber du brauchst dadurch noch mehr Traffic, um dieselbe Power zu erreichen.
Ab wann sich Multivariate Tests lohnen
Hier eine vereinfachte Übersicht, wenn du 5 % erwarteten Uplift, 80 % Power und Bonferroni-Korrektur berücksichtigst. Nur Werte mit ≥ 500 Conversions pro Variante werden gezeigt:
| Basis-CR | Kombinationen | Besucher pro Variante | Besucher gesamt |
|---|---|---|---|
|
1 % |
4 |
849 667
|
3,4 Mio.
|
|
2 % |
4 |
420 434
|
1,68 Mio.
|
|
3 % |
8 |
338 506
|
2,71 Mio. |
|
4 % |
8 |
199 032
|
1,59 Mio.
|
|
5 % |
8 |
91 795 |
734 000 |
Interpretation:
- Unter 3 % Conversion Rate brauchst du schon bei einem kleinen MVT mit 8 Kombinationen über 2 Mio. Besucher, um einen 5 %-Uplift sauber nachzuweisen.
- Erst ab > 5 % Conversion Rate und hunderttausenden monatlichen Besuchern wird ein MVT überhaupt realistisch.
- Für die meisten Websites ist das schlicht nicht effizient – ein A/B/n-Test liefert schnellere, sauberere Erkenntnisse.
Wann du MVT wirklich nutzen solltest
Ein Multivariater Test lohnt sich nur, wenn:
- du bereits große A/B-Erfolge erzielt hast und jetzt Feintuning willst,
- du auf der Testseite mindestens 500 000 Besucher pro Monat hast oder eine Conversion Rate über 5 %,
- du genug Ressourcen hast, um Planung, Statistik und QA sauber zu managen.
In allen anderen Fällen bist du mit einem A/B/n-Setup deutlich besser beraten.
Fazit
Multivariate Tests sind ein mächtiges Werkzeug – aber nur unter den richtigen Bedingungen.
In der Praxis verursachen sie oft mehr Aufwand als Erkenntnisgewinn.
Wer wenig Traffic hat, riskiert schlicht falsche Schlüsse oder nicht-signifikante Tests nach monatelanger Laufzeit.
Fazit für Marketer:
Fokussiere dich auf A/B/n-Tests mit klaren Hypothesen, erreiche valide Ergebnisse schneller – und steig erst auf Multivariate Tests um, wenn du dir die nötige Datenmenge leisten kannst.
