12 Fehler, die zum Scheitern von A/B-Tests führen

A/B-Tests sollten klaren Regeln folgen, damit das Ergebnis nicht verwässert oder verfälscht wird. Doch trotz ihres einfachen Charakters passieren vielen Anwendern Fehler beim A/B-Testen. Welche A/B Test-Beispiele es gibt und wo häufige Fehlerquellen liegen, verraten wir dir im folgenden Beitrag.

 
 
A/B-Tests sind effiziente und simple Probeläufe, mit deren Hilfe sich die Performance von Webseiten und anderen Web-Auftritten deutlich verbessern lässt. Doch trotz ihres einfachen Charakters passieren vielen Anwendern Fehler beim A/B-Testen. Erstaunlicherweise kann man auch beim geradlinigen Konzept des Split-Tests – ein Projekt wird in zwei Varianten gespaltet – einiges falsch machen. Ein A/B-Test sollte klaren Regeln folgen, damit das Ergebnis nicht verwässert oder verfälscht wird. Die größte potenzielle Fehlerquelle ist der Faktor Mensch. Konzeptlosigkeit, Flüchtigkeit oder Ungeduld können dieses hervorragende Tool zur praxisnahen Analyse nutzlos machen.

Heute wollen wir dir A/B-Test-Beispiele nennen, den Fokus auf häufige Fehler bei A/B-Tests legen sowie darüber sprechen, wie du diese vermeiden kannst. Außerdem stellen wir dir einige Tools vor, die zur technischen Durchführung der Split-Tests geeignet sind.
 

 
Nehmen wir an, du willst die Homepage deiner Firma A/B-testen. Für den Test wird genau ein Element deiner Internetseite geprüft. Eine Produktbeschreibung könnte beispielsweise so geändert werden, dass in einer Version die Eigenschaften des Artikels und in einer anderen Version die niedrigen Kosten im Vordergrund stehen. Weiterhin ließen sich die Seitennavigation oder optische Elemente wie Buttons oder Headlines testweise verändern. Klicken deine User eher auf runde oder eckige Buttons? Gehen deine Kunden eher „zur Kasse“, wenn der Call-to-action oben oder unten auf der Shopseite angezeigt wird? Finde es heraus.

1. Nicht lange genug getestet

Brich deine A/B-Tests nicht zu früh ab, auch wenn diese bereits nach wenigen Tagen scheinbar deutliche Ergebnisse zeigen. Um wirklich aussagekräftige Testergebnisse über das Nutzerverhalten zu gewinnen, sollte mindestens eine Woche und unter Umständen sogar mehrere Wochen lang getestet werden. Nur so stellst du sicher, dass möglichst viele verschiedene Nutzer mit unterschiedlichen Vorlieben den Test durchlaufen haben.
 

2. Zu lange getestet

Strebe eine Zuverlässigkeitsrate von möglichst 95 Prozent bei deinen A/B-Tests an. Ist diese Zahl erreicht, macht es keinen Sinn, den Test weiterlaufen zu lassen. Die Zeit ist besser investiert, um andere Bereiche neuen Prüfungen zu unterziehen.
 

3. Nicht parallel getestet

Ein A/B-Test ist nur dann zuverlässig, wenn du beide Varianten zu exakt gleicher Zeit testest. Läuft Version eins zu anderen Zeiten als Version zwei werden diese von jeweils unterschiedlichen Nutzergruppen wahrgenommen. Deine Nutzer haben schließlich variierende Arbeitszeiten und Tagesabläufe und gehen zu verschiedenen Uhrzeiten online.
 

4. Zu viele Tests auf einmal

Wenn du in einem Projekt mehrere A/B-Tests zur gleichen Zeit durchführen, verwässerst du deine Testergebnisse. Es ist dann nicht mehr einwandfrei festzustellen, ob beispielsweise Farbänderungen oder der Austausch von Bildern für eine bessere Konversionsrate gesorgt haben.
 

5. Zuviel verändert

Der Teufel liegt im Detail – du darfst nur eine einzige Änderung machen. Veränderst du beispielsweise eine Anleitung und das dazugehörige Bild, wirst du nie genau wissen, welches Detail den Test mehr beeinflusst hat. Außerdem könnten zu viele zeitgleiche Änderungen Bestandskunden abschrecken, die sich bereits an die bisherigen Verhältnisse gewöhnt haben.
 

6. In den laufenden A/B-Test eingegriffen

Wer mitten in einem laufenden Split-Test eine oder beide Variablen verändert, setzt das ganze Projekt praktisch auf null zurück. Die bereits verstrichene Testzeit wird durch den Eingriff entwertet. Warte in jedem Fall erst das Ende des A/B-Tests ab, um danach andere Varianten zu prüfen, die Ihnen in der Zwischenzeit eingefallen sind.
 

7. Zur falschen Zeit getestet

Suche dir für deinen A/B-Test eine der eher unauffälligen Phasen des Jahres aus. Teste zum Beispiel kurz vor Feiertagen wie Weihnachten das Kaufverhalten deiner Nutzer, könntest du ein verfälschtes Ergebnis erhalten, da in dieser Zeit ohnehin ein gesteigertes Konsumverhalten herrscht.
 

8. Ohne Plan getestet

Teste niemals planlos drauflos. Stelle zunächst eine Hypothese über das zu testende Element auf. Eine mögliche Hypothese wäre zum Beispiel die Annahme, dass ein als Mouseover-Effekt aufleuchtender Button häufiger geklickt wird als ein sich verdunkelnder Button. Überlege im Vorfeld, welche Elemente deiner Website aus Nutzersicht noch weiter optimiert werden können. Definiere das Problem sowie den Lösungsvorschlag und weiche nicht von dieser Hypothese ab, bis sie bewiesen oder widerlegt wurde.
 

9. Ergebnisse des A/B-Tests ignoriert oder verfälscht

Wenn du A/B-Tests durchführst, solltest du deren Ergebnisse auch ehrlich akzeptieren. Persönliche Vorlieben müssen im Zweifel zurückstehen, selbst wenn dein bevorzugter Entwurf den Split-Test „verloren“ hat.
 

10. Unnötige A/B-Tests durchgeführt

Teste keine Bereiche, die nachweislich optimal funktionieren. Auch solltest du davon absehen, bereits erfolgreiche A/B-Testergebnisse noch weiter optimieren zu wollen. Wenn du als A/B-Test zum Beispiel bereits getestet hast, ob ein runder oder ein eckiger Button erfolgreicher ist, brauchst du nicht noch dreieckige oder sternförmige Buttons testen.
 

11. Überhaupt nicht getestet

Du bist einfach davon ausgegangen, dass alles wie geplant laufen würde und es nicht nötig wäre, zu testen. Nun, womöglich geht das sogar gut und dein Konzept läuft wie geschmiert. In vielen Fällen verschenkst du jedoch gute Chancen, dich zu verbessern und müsstest dich im Falle des Scheiterns immer fragen, ob du etwas hättest besser machen können.
 

12. Das falsche Tool benutzt

Auch die Software, mit der du den A/B-Test durchgeführt hast, kann zu Fehlern führen. So können manche Tools deiner Internetseite verlangsamen, was sowohl dein SEO als auch die Nutzererfahrung negativ beeinflusst. Im Folgenden stellen wir dir daher einige nützliche Tools für A/B-Tests vor.

 
Beim Bestreben, die häufigsten Fehler bei A/B-Tests zu vermeiden, stehst du nicht alleine da. Du kannst auf verschiedene Tools zurückgreifen, die das Planen und Durchführen von A/B-Tests erleichtern. Hier eine kleine Auswahl der Anbieter:

• AB Tasty: Alle denkbaren Arten von A/B-Tests können mithilfe von drei verschiedenen Modulen durchgeführt werden. Die Module „Testen“, „Personalisieren“ und „Engagement“ lassen sich sowohl auf Websites als auch auf mobile Seiten und native Apps anwenden. Es wird unterschieden zwischen AB Tasty als Plattform für Marketingteams sowie als Plattform für Produkt- und Tech-Teams. Das Pricingmodell findet ihr hier.
   

• Optimizely: Optimizely kann A/B-Tests für Webseiten und mobile Apps durchführen. Die kostenpflichtigen Modelle werden preislich und inhaltlich individuell auf die Ansprüche des jeweiligen Kunden zugeschnitten.

 

• Unbounce: Eigentlich ein Tool für den Bau von Landingpages, verfügt Unbounce auch über Funktionen für A/B-Tests. Schon mit der Einsteigervariante für 199 US-Dollar pro Monat lassen sich Split-Tests durchführen. Wenn du vor allem Landingpages testen willst, könnte dieses Tool dir in doppelter Hinsicht nützlich sein.

 

• Sitespect: Dieses Testing-Tool ist vorwiegend auf die Bedürfnisse größerer Kunden spezialisiert. Technische Vorkenntnisse sind nicht nötig. Außerdem verwendet Sitespect eine Reverse-Proxy-Architektur, welche komplett ohne JavaScript-Tags auskommt. Sowohl statische als auch dynamische Elemente von Webseiten oder Apps können getestet werden. Dazu gehören auch Videos oder Musikdateien. Allerdings musst du auch bereit sein, etwas mehr für diese Möglichkeiten zu investieren. Der Grundpreis für das monatliche Angebot von Sitespect liegt bei 2.000 Euro.

 
A/B-Tests sind beispielsweise hervorragende Maßnahmen, um die Performance von Internetseiten, Newslettern oder Landingpages zu überprüfen und zu verbessern. Wenn du einige Fallstricke und unsere Hinweise beachten, kannst du deine Conversions maximieren und Nutzern eine bessere Kundenerfahrung verschaffen. Machen dir einen guten Plan und weiche nicht davon ab.
 
 
 
 

Tritt über 80.000 Kunden weltweit bei und nutze Textbroker für dein Content-Marketing.

Jetzt kostenlos anmelden