Conversion Optimierung mit A/B Testing im Checkout

Die Zahl der Onlineshops wächst, und mit ihr der Wettbewerb um dieselben Kunden. Wer die eigene Conversion Rate verbessern will, steht dabei vor einem grundsätzlichen Problem: Die meisten Änderungen an einem Shop werden nach Geschmack entschieden und danach nie überprüft. A/B-Tests sind das Verfahren, mit dem sich stattdessen belegen lässt, ob eine Änderung tatsächlich etwas bewirkt.

Warum die Conversion Rate niedrig ist

Damit ein Kauf zustande kommt, müssen mehrere Dinge nacheinander klappen: Der Besucher muss den Shop finden, das passende Produkt finden, sich entscheiden und die Bestellung abschließen. An jedem dieser Schritte fällt ein Teil weg. Interessant ist deshalb nicht die Conversion Rate als eine Zahl, sondern die Frage, an welcher Stelle die Leute verschwinden.

Ein Trichterbericht im Analysewerkzeug beantwortet das binnen Minuten: Wie viele Besucher legen etwas in den Warenkorb, wie viele beginnen den Bestellvorgang, wie viele geben eine Adresse ein, wie viele wählen eine Zahlart, wie viele bestellen. Bricht der Verlauf zwischen zwei Schritten überproportional ein, ist der Ansatzpunkt gefunden. Wie sich solche Auswertungen aufsetzen lassen, steht auf unserer Seite zu Web-Analytics.

Der Checkout ist dabei fast immer der lohnendste Bereich. Wer bis dorthin gekommen ist, hat sich bereits für ein Produkt entschieden — hier geht Nachfrage verloren, die schon vorhanden war.

Die üblichen Abbruchgründe im Checkout

Bevor überhaupt getestet wird, lohnt ein Blick auf die Punkte, an denen Bestellungen regelmäßig scheitern. Manches davon lässt sich ohne Test beheben, weil es schlicht ein Fehler ist.

Versandkosten, die erst spät auftauchen. Wer im letzten Schritt erfährt, dass zum Warenkorbwert noch etwas dazukommt, fühlt sich getäuscht. Die Angabe gehört auf die Produktseite und in den Warenkorb.

Kontozwang. Ein Pflichtkonto vor der ersten Bestellung ist eine Hürde ohne Gegenwert für den Kunden. Eine Gastbestellung mit optionaler Kontoerstellung danach kostet nichts und entfernt sie.

Zu viele Felder. Jedes Pflichtfeld ist eine Gelegenheit zum Abbruch. Telefonnummer, Geburtsdatum, Firmenname: Wenn diese Angaben für die Abwicklung nicht gebraucht werden, gehören sie raus oder auf freiwillig.

Fehlende Zahlarten. Das ist der banalste Grund und einer der häufigsten. Wer im deutschen Markt weder Rechnungskauf noch PayPal anbietet, verliert einen erheblichen Teil der Kundschaft an dieser einen Stelle.

Unklare Fehlermeldungen. Ein Formular, das nach dem Absenden pauschal „Fehler in der Eingabe“ meldet, ohne das betroffene Feld zu markieren, produziert Abbrüche aus reiner Ratlosigkeit.

Kein Vertrauen. Fehlende Angaben zu Rückgabe, Lieferzeit und Erreichbarkeit wirken im letzten Schritt stärker als überall sonst, weil dort die Zahlungsdaten eingegeben werden.

Wie sich Bedienbarkeit und Gestaltung darauf auswirken, behandeln wir auf der Seite zum User Interface Design.

Was ein A/B-Test ist und was er leistet

Beim A/B-Test wird der eingehende Verkehr zufällig auf zwei Varianten aufgeteilt: die bestehende Version A und die geänderte Version B. Beide laufen gleichzeitig, über denselben Zeitraum, mit denselben Besucherquellen. Am Ende wird verglichen, welche Variante häufiger zum Abschluss geführt hat.

Der entscheidende Punkt ist das Wort gleichzeitig. Wer die Änderung einfach einbaut und den Monat davor mit dem Monat danach vergleicht, misst Wochentage, Saison, Wetter, laufende Kampagnen und Feiertage gleich mit. Solche Vorher-Nachher-Vergleiche sind der häufigste Fehler in der Praxis und produzieren regelmäßig Ergebnisse, die sich später in Luft auflösen.

Getestet wird immer gegen eine konkrete Vermutung, nicht ins Blaue: „Wenn die Versandkosten schon im Warenkorb stehen, brechen weniger Kunden im letzten Schritt ab.“ Diese Formulierung legt fest, was gemessen wird — und macht es möglich, dass der Test die Vermutung widerlegt. Ein Test, dessen Ergebnis in jedem Fall als Erfolg gedeutet werden kann, ist keiner.

Wie viele Besucher nötig sind

Hier wird es unbequem, und dieser Teil wird in den meisten Beiträgen zum Thema übergangen. Ein A/B-Test ist ein statistisches Verfahren, und statistische Verfahren brauchen eine Stichprobe.

Wie groß sie sein muss, hängt an drei Größen: der aktuellen Conversion Rate, dem Unterschied, den man überhaupt erkennen möchte, und der Sicherheit, mit der man ihn erkennen will. Je kleiner der erwartete Unterschied, desto größer die nötige Stichprobe — und zwar überproportional. Eine Verbesserung um die Hälfte lässt sich mit wenigen hundert Bestellungen je Variante nachweisen, eine Verbesserung um wenige Prozent erst mit einem Vielfachen davon. Für die Berechnung gibt es frei verfügbare Stichprobenrechner; sie gehört vor den Testbeginn, nicht danach.

Daraus folgt die ehrlichste Aussage zu diesem Thema: Bei geringem Traffic sagen A/B-Tests wenig aus. Ein Shop mit einer Handvoll Bestellungen pro Tag wird Monate brauchen, um einen kleinen Effekt nachzuweisen — und in dieser Zeit ändern sich Sortiment, Preise und Kanäle so weit, dass die Grundlage nicht mehr stimmt. Für solche Shops ist es sinnvoller, die offensichtlichen Fehler aus dem Abschnitt oben zu beheben, Nutzer bei der Bestellung zu beobachten und Aufzeichnungen abgebrochener Sitzungen anzusehen. Das liefert keine Signifikanz, aber es liefert Erkenntnisse — und es kostet Tage statt Monate.

Zwei weitere Regeln gehören dazu. Ein Test läuft über volle Wochen, weil sich Kaufverhalten am Wochenende anders verhält als am Dienstag. Und er wird nicht abgebrochen, sobald er zum ersten Mal gut aussieht: Wer täglich nachsieht und beim ersten positiven Ausschlag stoppt, erzeugt Scheinergebnisse. Die Laufzeit wird vorher festgelegt und eingehalten.

Signifikanz richtig lesen

Testwerkzeuge geben in der Regel eine Signifikanz aus, üblicherweise mit 95 Prozent als Schwelle. Das bedeutet nicht, dass Variante B mit 95 Prozent Wahrscheinlichkeit besser ist. Es bedeutet: Wenn zwischen beiden Varianten in Wirklichkeit gar kein Unterschied bestünde, würde ein Ergebnis wie das gemessene nur in fünf von hundert Fällen zufällig zustande kommen.

Praktisch relevant ist außerdem die Spanne, nicht nur der Punktwert. Ein Ergebnis, das eine Verbesserung zwischen null und acht Prozent für möglich hält, ist etwas anderes als eines zwischen sechs und acht Prozent — auch wenn beide „signifikant“ heißen können. Und ein statistisch signifikanter Unterschied kann wirtschaftlich bedeutungslos sein, wenn der Umbau mehr kostet, als er einbringt.

Werkzeuge

Für den Test selbst gibt es zwei Bauformen. Clientseitige Werkzeuge laden ein Skript und verändern die Seite im Browser; sie sind schnell eingerichtet, können aber kurzes Flackern verursachen und setzen in der Regel Cookies, für die eine Einwilligung nötig ist. Serverseitige Tests liefern die Varianten direkt aus dem Shop aus; das ist aufwendiger, aber sauberer — besonders im Checkout, wo Flackern und Ladeverzögerungen unmittelbar auf das Ergebnis durchschlagen.

Ein Hinweis für alle, die auf ältere Anleitungen stoßen: Google Optimize wurde im September 2023 eingestellt. Wer eine Empfehlung dafür liest, liest etwas Veraltetes. Verfügbar sind kommerzielle Testplattformen, Erweiterungen der gängigen Shopsysteme und — bei ausreichender technischer Ausstattung — eine eigene Umsetzung über Feature-Flags im Shop selbst. Welche Variante passt, hängt weniger vom Budget ab als davon, wie tief die getestete Änderung ins System eingreift.

Was danach passiert

Ein abgeschlossener Test hinterlässt drei mögliche Ergebnisse: Die Änderung wirkt, die Änderung wirkt nicht, oder das Ergebnis ist unklar. Alle drei sind brauchbar, solange sie festgehalten werden. Ohne Protokoll wird dieselbe Idee in zwei Jahren erneut vorgeschlagen und erneut getestet.

Wirkt die Änderung, wird sie für alle ausgerollt und der nächste Engpass im Trichter angegangen. Wirkt sie nicht, war die Vermutung falsch — und auch das ist eine Information, weil sie ausschließt, dass an dieser Stelle Potenzial liegt.

Wie wir Conversion-Optimierung im Projekt aufsetzen, steht auf der Seite zur Conversion-Optimierung. Einen Überblick über die Stellschrauben außerhalb des Checkouts gibt der Beitrag Conversion-Rate steigern, und wie ein Shop insgesamt aufgebaut sein sollte, behandelt unsere Seite zum E-Commerce.