Multivariate Testing: mehrere Seitenelemente gleichzeitig testen
Multivariate Testing ist ein Testverfahren zur Optimierung der Conversion-Rate, bei dem mehrere Elemente einer Website gleichzeitig in verschiedenen Varianten getestet werden. Anders als beim A/B-Testing, das Versionen einer Seite oder eines Elements gegeneinander antreten lässt, prüft ein multivariater Test alle Kombinationen der Varianten in einem Experiment. So zeigt er, welche Kombination den größten Erfolg verspricht.
Zusammenfassung
Multivariate Testing zeigt, welche Kombination von Seitenelementen die meisten Conversions erzielt. Das Wichtigste im Überblick:
- Multivariate Tests prüfen mehrere Elemente wie Überschrift, Bild oder Button gleichzeitig und in allen Kombinationen.
- Die Zahl der Kombinationen ist das Produkt der Varianten: Aus 2 Beschreibungen und 2 Bildern werden 4 Kombinationen.
- Weil sich der Traffic auf alle Kombinationen verteilt, braucht ein multivariater Test deutlich mehr Besucherinnen und Besucher als ein A/B-Test.
- Anders als getrennte A/B-Tests macht Multivariate Testing auch Wechselwirkungen zwischen den Elementen sichtbar.
- Bei wenig Traffic sind aufeinanderfolgende A/B-Tests meist die bessere Wahl.
Was ist Multivariate Testing?
Im Onlinemarketing beschreibt Multivariate Testing ein Testverfahren, bei dem mehrere Elemente eines Web-Projekts verändert und den Nutzerinnen und Nutzern in verschiedenen Versionen präsentiert werden. Das Ziel ist es, diejenige Kombination herauszufiltern, die den größten Erfolg verspricht. Zu diesem Zweck stellen Sie für jedes einzelne Testelement zunächst eine Hypothese auf, die am Ende durch die Testergebnisse bestätigt oder widerlegt wird.
Multivariate Tests werden oft als mehrere gleichzeitig ausgeführte A/B-Tests beschrieben. Das trifft es nur zum Teil: Ein multivariater Test prüft alle Kombinationen in einem einzigen Experiment. Dadurch zeigt er auch Wechselwirkungen zwischen den Elementen – etwa wenn eine Produktbeschreibung nur zusammen mit einem bestimmten Bild besser abschneidet. Getrennte A/B-Tests machen solche Effekte nicht sichtbar. Außer im Onlinebereich kommen multivariate Testverfahren unter anderem in der Konsum- und Marktforschung oder bei der Qualitätskontrolle und -sicherung in der Industrie zur Anwendung.

Erstklassige Inhalte und Produkte sowie ein steigender Traffic sind zwar erfolgversprechende Elemente für aufstrebende Shops und Unternehmen. Sie bleiben allerdings nahezu wirkungslos, wenn die gewünschten Resultate wie ein Kaufabschluss, ein Button-Klick oder das Ausfüllen eines Formulars ausbleiben.
Die Besucherzahlen lassen sich durch ganz verschiedene Maßnahmen beeinflussen (Social-Media-Marketing, SEO, SEA, Link-Building etc.). Die Zahl der Conversions ist dagegen vor allem an 2 Faktoren gebunden: das Vertrauen der Nutzenden in den Shop bzw. die Website und die Nutzerfreundlichkeit des Web-Projekts, auch Usability genannt. Multivariate Tests helfen dabei, die Schwächen der überprüften Elemente ausfindig zu machen und zu beheben. Fühlen sich Besucherinnen und Besucher wohl, verbringen sie mehr Zeit im Shop bzw. auf der Website und führen häufiger die erwünschte Aktion (Conversion) aus.
Wie funktioniert ein multivariater Test?
Die Vorgehensweise beim Multivariate Testing verdeutlicht folgendes Beispiel: Die Seite eines bestimmten Produkts soll optimiert werden. Die Beschreibung und das verwendete Bild wurden als die entscheidenden Testkriterien ausgewählt. Das Analyseverfahren soll Aufschluss darüber geben, ob und inwiefern die beiden Produktbeschreibungen A und B sowie die Produktbilder 1 und 2 die Conversion-Rate beeinflussen. Zu diesem Zweck werden Bilder und Beschreibungen miteinander kombiniert, sodass sich die folgenden Kombinationen ergeben:
| Bild 1 | Bild 2 | |
|---|---|---|
| Beschreibung A | Kombination 1 | Kombination 2 |
| Beschreibung B | Kombination 3 | Kombination 4 |
In diesem einfachen Beispiel gibt es also 4 verschiedene Kombinationsmöglichkeiten. Mit jedem weiteren Element und jeder weiteren Variante steigt die Anzahl an möglichen Kombinationen. Die 4 Versionen werden nun den potenziellen Kundinnen und Kunden präsentiert, die die entsprechende Produktseite im Shop aufrufen. Dabei wird der gesamte Traffic gleichmäßig auf alle 4 Varianten aufgeteilt.
Die erzielten Conversions, in diesem Fall also die getätigten Kaufabschlüsse, zeichnet ein Testing-Tool während des Überprüfungszeitraums auf. Nach Abschluss des Multivariate Testings lässt sich so für alle 4 Varianten eine Conversion-Rate errechnen. Je höher der Traffic und je länger der Beobachtungszeitraum, desto aussagekräftiger sind auch die Ergebnisse.
Multivariate Testing vs. A/B-Testing
Beide Verfahren sind Live-Tests mit echten Besucherinnen und Besuchern. Der Unterschied liegt darin, was getestet wird. Ein A/B-Test vergleicht Versionen einer Seite oder eines Elements, als A/B/n-Test auch mehr als 2. Multivariate Testing kombiniert dagegen mehrere Elemente mit ihren jeweiligen Varianten. Nicht die Zahl der Varianten unterscheidet die Verfahren, sondern die Kombination mehrerer Elemente.
| Kriterium | A/B-Testing | Multivariate Testing |
|---|---|---|
| Getestete Varianten | Versionen einer Seite oder eines Elements, als A/B/n-Test auch mehr als 2 | alle Kombinationen mehrerer Elemente und ihrer Varianten |
| Nötiger Traffic | geringer, da sich der Traffic auf wenige Varianten verteilt | hoch, da sich der Traffic auf alle Kombinationen verteilt |
| Aussage über Wechselwirkungen | nein | ja, das Zusammenspiel der Elemente wird sichtbar |
| Aufwand bei der Auswertung | gering | höher, vor allem bei Elementen ohne Einfluss auf das Ziel |
Welche Vor- und Nachteile hat Multivariate Testing?
Da multivariate Tests – wie A/B-Tests – erst ausgeführt werden, wenn das Web-Projekt bereits online ist, haben sie gegenüber Usability-Tests in der Entwicklungsphase einen Vorteil: eine viel größere Anzahl an Testnutzenden. Daher zählen sie zu den quantitativen Erhebungsmethoden. Multivariate Testing ist also kein Usability-Test im engeren Sinn, sondern ein quantitatives Live-Testverfahren der Conversion-Optimierung.
Vorteile
- Viele Testnutzende: Der Live-Test erfasst echte Besucherinnen und Besucher statt einer kleinen Testgruppe.
- Einfache Umsetzung: Obwohl die Durchführung multivariater Tests komplex erscheint, ist sie dank der verschiedenen Tools relativ einfach. Die Testseiten sind schnell konfiguriert und per JavaScript-Code-Snippet im Web-Projekt implementiert.
- Auswertung in Echtzeit: Die Ergebnisse werden in übersichtlichen Tabellen visualisiert. So lässt sich problemlos feststellen, welche Kombinationen den größten Erfolg versprechen.
- Keine Begrenzung auf 2 Versionen: Multivariate Testing ist nicht auf 2 Vergleichsversionen beschränkt, sondern kann viele Kombinationen umfassen. Je nach Tool gibt es allerdings eine Obergrenze. Das erleichtert die Überprüfung mehrerer Elemente.
- Übergreifende Erkenntnisse: Die Zahlen verraten nicht nur, welche Zusammenstellungen sich im Einzelfall positiv oder negativ auf die Conversion-Rate auswirken. Sie vermitteln auch ein statistisch belegtes Bild davon, welche Komponenten auf welche Art zum Erfolg eines Web-Projekts beitragen. Dieses Wissen kann auch bei der Entwicklung zukünftiger Projekte eine große Rolle spielen.
Nachteile
- Hoher Traffic nötig: Damit die Resultate die gewünschte Aussagekraft besitzen, ist ein durchgängig hoher Traffic unabdingbar – allein schon deshalb, weil er auf mindestens 4 und oftmals noch mehr Testexemplare verteilt wird.
- Schwierige Auswertung bei Variablen ohne Einfluss: Haben eine oder mehrere der getesteten Variablen keinen Einfluss auf das Conversion-Ziel, erschwert das die Interpretation der Ergebnisse. Multivariate Testing kann sich dann als falsche Wahl herausstellen, die den Evaluationsprozess im Vergleich zu einem einfachen A/B-Test unnötig verkompliziert.
Ein multivariater Test braucht also vor allem eines: genug Besucherinnen und Besucher. Wie gut eine Website gefunden wird, entscheidet deshalb mit darüber, ob sich das Verfahren überhaupt einsetzen lässt.
- Besser ranken bei Google
- Präsent in KI-Antworten
- Ganz vorne bei den Anzeigen
Wann lohnt sich ein multivariater Test?
Welche Methode für Ihr Web-Projekt am besten geeignet ist, hängt von verschiedenen Faktoren ab. Die Höhe des Traffics spielt dabei die größte Rolle.
Traffic und Zahl der Kombinationen
Die Zahl der Kombinationen ergibt sich aus dem Produkt der Varianten aller getesteten Elemente. 2 Beschreibungen und 2 Bilder ergeben 2 × 2 = 4 Kombinationen. Kommen 3 Überschriften, 3 Bilder und 2 Buttons zusammen, sind es bereits 3 × 3 × 2 = 18 Kombinationen. Jede Kombination braucht genug Besucherinnen und Besucher für ein verlässliches Ergebnis. Mit jeder zusätzlichen Variante steigt deshalb der Traffic, den der Test insgesamt benötigt.
Stehen Sie mit Ihrem Web-Auftritt am Anfang und haben nur wenige Besucherinnen und Besucher, erhalten Sie mit Multivariate Testing auch in einem längeren Beobachtungszeitraum keine verlässlichen Statistiken. In einem solchen Fall empfiehlt es sich, die Funktionalität einzelner Variablen in aufeinanderfolgenden A/B-Tests zu validieren. Weist Ihre Website dagegen einen hohen Traffic auf, sind multivariate Tests wesentlich zeitsparender und mit weniger Aufwand verbunden.
Full Factorial oder Fractional Factorial
Beim Full-Factorial-Verfahren testen Sie alle möglichen Kombinationen. Das liefert die vollständigsten Ergebnisse, braucht aber den meisten Traffic. Beim Fractional-Factorial-Verfahren testen Sie nur eine Auswahl der Kombinationen und schließen daraus auf die übrigen. Das senkt den Traffic-Bedarf. Der Nachteil: Effekte lassen sich den einzelnen Elementen und ihren Wechselwirkungen schwerer zuordnen.
Erst A/B-Test, dann Multivariate Testing
Häufig empfiehlt sich eine feste Reihenfolge: Größere Änderungen, etwa ein neues Seitenlayout, prüfen Sie zuerst per A/B-Test. Steht die grundlegende Version fest, verfeinern Sie einzelne Elemente anschließend per Multivariate Testing. Praktische Hinweise für den ersten Schritt liefern die Tipps für erfolgreiche A/B-Tests.
Wenn es dagegen einzig um das Ausprobieren neuer Ideen geht, sind multivariate Tests weder effizient noch zielführend – und A/B-Testing ist häufig zu eingeschränkt. Hier stellen Vorabuntersuchungen in kleinerem Rahmen und mit klar formulierten Fragestellungen eine wesentlich effektivere und zudem risikofreie Lösung dar.
Worauf Sie bei der Durchführung achten sollten
- Klare Hypothesen und Ergebnisgrößen: Eine Voraussetzung für beide Methoden ist, dass Sie für die getesteten Elemente klare Hypothesen und Ergebnisgrößen formulieren. Andernfalls lassen sich die Ergebnisse nur schwer interpretieren.
- Vorübergehende Verschlechterung einkalkulieren: Im Gegensatz zur Usability-Untersuchung während des Entwicklungsprozesses müssen Sie bei einem Live-Test damit rechnen, dass sich die Conversion-Rate vorübergehend verschlechtert.
- Vorauswahl treffen: Entscheiden Sie sich für Multivariate Testing, verstehen Sie das nicht als Freibrief für unnötig viele Variablen oder Versionen. Gehen Sie strategisch vor und lassen Sie nur die wichtigsten Kandidaten gegeneinander antreten.
- Ergebnis absichern: Um auf Nummer sicher zu gehen, können Sie das Testergebnis mit einem anschließenden A/B-Test noch einmal überprüfen.
- Ergebnisse richtig einordnen: Bei jeder Testmethode gilt: Die statistisch ermittelte Steigerung der Conversion-Rate ist keine Garantie, sondern beschreibt lediglich eine Tendenz. Typische Fehler bei der Auswertung erklärt der Artikel zu Statistik-Fallen beim A/B-Testing.
Welche Tools eignen sich für Multivariate Testing?
Nicht jedes Tool, mit dem sich ein A/B-Test durchführen lässt, eignet sich auch für Multivariate Testing. Die folgende Übersicht zeigt bekannte Tools, die sowohl A/B-Testing als auch multivariates Testen unterstützen. Weitere Werkzeuge stellt der Überblick über Testing-Tools für Websites vor.
| Anbieter | Technologie | Multiple Ziele | Traffic-Segmentierung |
|---|---|---|---|
| AB Tasty | Client-Side | – | ✓ |
| Adobe Target | Client-Side, Server-Side und hybrid | ✓ | ✓ |
| Convert | Client-Side, Server-Side (Full Stack) ab Tarif Pro | ✓ | ✓ |
| Kameleoon | Client-Side und Server-Side | ✓ | ✓ |
| Optimizely | Client-Side | ✓ | ✓ |
| Wingify (ehemals VWO) | Client-Side | ✓ | ✓ |
| Webtrends Optimize | Client-Side und Server-Side | keine Angabe | ✓ |
Stand der Angaben: November 2026. AB Tasty und VWO (heute Wingify) haben sich inzwischen zusammengeschlossen.
Je nach Anbieter ist Multivariate Testing nicht in jedem Tarif enthalten. Prüfen Sie deshalb vor der Auswahl, ob das gewünschte Tool multivariate Tests im passenden Umfang unterstützt und ob Ihr Traffic für die geplante Zahl an Kombinationen ausreicht.


