A/B-Testing Einführung
A/B-Testing ist ein wesentlicher Baustein des Online Marketings. Genauer im Bereich der Conversion Rate Optimierung (CRO), welcher das Ziel inne hat, mehr Conversions aus den vorhandenen Besuchern rauszuholen. A/B-Testing ist hier eine Methodik, die Conversion Rate langfristig und datengetrieben zu steigern.
Grundsätzlich testet man beim A/B-Testing immer die aktuelle Version einer Seite gegen eine Variante, welche mit potenziellen Verbesserungen ausgestattet ist. Das Ziel ist es, eine neue Version des Originals zu identifizieren, welche zu mehr Conversions (Leads, Käufe, etc.) führt.
Hierbei unterliegt jeder A/B-Test statistischen Anforderungen, welche dafür sorgen, dass die Ergebnisse, ob die neue Variante schließlich besser performt, auch aussagekräftig und valide sind.
Definition von A/B-Testing
A/B-Testing bezeichnet grundsätzlich ein zufallsbasiertes Experiment, bei dem Besucher einer Webseite gleichzeitig mindestens zwei Versionen einer Webseite angezeigt bekommen. Durch das abweichende Verhalten der Besucher, abhängig von der jeweiligen Version, kann die Version mit der maximalen Wirkung identifiziert werden. Die maximale Wirkung ist hierbei ein gewünschter Zustand, welcher zum Start mit spezifischen KPI’s definiert wurde. Diese Kennzahlen können beispielsweise eine gestiegene Conversion Rate im Allgemeinen oder ein gestiegener durchschnittlicher Warenkorbwert sein.
Bei dem Begriff A/B-Test, bezieht sich der Buchstabe A auf die Kontrollvariante und B auf Testvariante. Während bei der Kontrollvariante keine Veränderungen eingebaut wurden, sind bei der Testvariante verschiedene Aspekte umgeändert worden, die den gewünschten Zustand herbeiführen sollen.
Ziel ist es, die Version zu identifizieren, welche die vorher festgelegten Kennzahlen verbessert. Diese Variante wird dann als Gewinner bezeichnet.
Leider vertraut die Allgemeinheit bei der Optimierung von Webseiten immer noch auf das eigene Bauchgefühl und einer persönlichen Präferenz. Datengetriebene A/B-Tests können dieses Rätselraten beenden und liefern valide Ergebnisse, welche dann zu datengestützten Entscheidungen führen.
Die Relevanz von A/B-Tests in 2023
Die Relevanz von A/B-Tests ist im Jahr 2023 so hoch wie nie zuvor. Die goldenen Jahres des E-Commerce sind vorerst vorbei, beziehungsweise haben sich grundsätzliche Charaktereigenschaften stark verändert. Wir wollen nun ein paar dieser Punkte ein wenig genauer behandeln.
“Survival of the smartest”
“Survival of the Smartest” ist wahrscheinlich die Überschrift für E-Commerce Brands im Jahr 2023. Vielleicht ist es nicht der Stärkste, aber ganz sicher der Schlauste oder derjenige, der am meisten aus dem Status Quo macht.
Wer seine Kunden und Zielgruppe nicht versteht und meint, dass über ein höheres Werbebudget wieder gutzumachen, wird schlichtweg nicht überleben.
Jede Form von Werbung resultiert irgendwo im Traffic des Onlineshops. Diesen Traffic effizient zu nutzen, wird der Tenor sein für 2023. Daher sollte das ganz klare Ziel sein, mit den vorhandenen Besuchern noch besser zu arbeiten, die Bedürfnisse noch klarer zu befriedigen und schlussendlich mehr aus dem sowieso vorhandenen Traffic rauszuholen.
A/B-Tests machen genau das. Neben verbesserten Kennzahlen sorgt ein fundierte Testing-Routine zu einem deutlich gestiegenen Kundenverständnis. Denn ganz wichtig zu verstehen ist auch, dass es keine schlechten Testergebnisse gibt. Ja, auch dann, wenn die Variante deutlich schlechter performt. Denn auch jedes negative Ergebniss gibt dir Rückschlüsse darauf, was deine Zielgruppe wirklich will.
Gestiegene Werbekosten zwingen zum Handeln
Wir wollen uns nun mit den gestiegenen Werbekosten im E-Commerce beschäftigen. Hierzu fokussieren wir uns auf die Entwicklung von Werbekosten bei Facebook. Die beiden Metriken die wir hier analysieren sind CPM & CPC. Doch was sagen die beiden Kennzahlen überhaupt aus?
CPM bedeutet “Cost per Mille” und beschreibt die Kosten, die für insgesamt 1.000 Impressionen kalkuliert werden können. CPC, “Cost-per-Click”, beschreibt hingegen den Durchschnittswert, wie viel ein tatsächlicher Klick auf eine Werbeanzeige gekostet hat. Vor allem dem CPC liegt eine hohe Relevanz zugrunde, da er mit dem CPA (Cost per Action) und dem ROAS (Return on advertising Spend) eine der wichtigsten Messwerte für Marketingkampagnen darstellt.
In den Jahren 2020-2023 haben sich diese beiden Kennzahlen drastisch erhöht. Lag der CPM im Juli 2020 noch bei unter 3,00€, stieg er bis zuletzt im September 2022 auf knapp 9,00€, mit einem Hoch von über 10,00€ im März 2022. Eine ähnliche Entwicklung lässt sich auch beim CPC feststellen. Lag dieser im Januar 2020 noch bei knapp 0,50€, so stieg dieser im Laufe der Jahre bis zu, September 2022 auf knapp 1,00€ an. Den höchsten Stand hatte dieser auch im März 2022 mit knapp 1,40€ pro Klick auf eine Werbeanzeige.
Aber wie lässt sich der Verlauf auf Conversion Rate Optimierung und A/B-Testing im Jahr 2023 übertragen?
Gute Social Ad’s und gute Werbung an sich sind absolut relevant und verdienen den berechtigt hohen Stellenwert, den sie aktuell haben. Gute Ad’s sind die Treiber der Skalierbarkeit von E-Commerce Brands. Allerdings ist es schwer, Werbebudgets konsequent drastisch zu erhöhen, da vor allem die generierten Besucher nicht gut genug konvertieren. Denn nur, weil ein Besucher die Werbung gut fand, wird er noch lange nicht zum Kunden. Und genau hier setzt das A/B-Testing an. Durch eine datengetriebene Testing-Strategie bist du in der Lage, deine Conversion Rate Stück für Stück zu erhöhen. Und eben genau diese führt dazu, dass du langfristig und planbar mehr Kunden gewinnst und Umsatz erzielst. Und das ohne einen Euro mehr in deine Werbekampagnen zu stecken. Daher zwingen einen die gestiegenen Werbekosten dazu, mindestens genau so viel Fokus in die Optimierung zu stecken wie in die Werbung an sich.
Die Kollegen von advertace haben einen Blogbeitrag, der die Entwicklung von CPC und CPM stetig aktualisiert. Den Link dazu findest du hier:
https://www.advertace.de/blog/cpm-cpc
Warum sollte ich A/B-Tests durchführen?
Die bisherigen Punkte bieten eigentlich schon genug Gründe, warum es sinnvoll ist, mit A/B-Tests zu starten. Da diese allerdings relativ allgemein gehalten waren, folgen nun fünf Punkte, die dir und deinem Onlineshop am Ende weiterhelfen:
- Du löst die Probleme deiner Besucher! Jeder Besucher kommt mit einem Ziel. Beispielsweise wollen sie mehr über dein Angebot erfahren, bestimmte Produkte kaufen oder in irgendeiner Form etwas lernen. Auf diesem Weg stoßen diese auf Hürden. A/B-Tests können genau diese Hürden identifizieren und lösen.
- Du holst deutlich mehr aus deinem Traffic und den Daten heraus! Jeder Besucher hinterlässt Daten. Nutze diese, um deinen bezahlten Traffic besser zu verwerten und den Return on Investment zu erhöhen.
- Verringere die Absprungrate drastisch! Jeder Besucher, der nicht konvertiert, hinterlässt Hinweise für den Grund. Nutze diese Hinweise, um Painpoints zu identifizieren und zu verbessern. Deine Conversion Rate wird es dir danken.
- Zweifelsfreie Entscheidungsgrundlage für Änderungen! Ein guter A/B-Tests gibt dir immer ein Ergebnis. Argumentiere auf den Ergebnissen und nicht auf deiner eigenen Meinung. Wir ziehen unsere eigene Meinung immer gerne vor. Allerdings sollte im E-Commerce auf Grundlage von signifikanten Ergebnissen argumentiert werden und nicht auf der persönlichen Präferenz.
- Datengetrieben zu Optimieren ist deutlich günstiger als ein Rebranding! Mit A/B-Tests verbesserst du deinen Onlineshop langfristig und kundenorientiert. Spar dir das Geld für ein teures Rebranding beziehungsweise einen kompletten Relaunch des Shops.
A/B-Tests - Drei verschiedenen Arten
Es gibt verschiedene Arten von A/B-Tests. In diesem Teil wollen wir uns ein wenig tiefer mit drei verschiedenen Arten beschäftigen.
Split-Tests (Klassiker)
Der Split-Test kann als klassischer A/B-Test verstanden werden. Bei einem Split-Test gibt es neben der bereits vorhandenen Version, also der Originalversion, mindestens eine Variante, gegen die die Originalversion getestet wird. Meistens wird die Originalversion gegen eine Variante getestet. Natürlich kann hier auch gegen mehrere Varianten getestet werden. Mehr als zwei Varianten gegen das Original zu testen wird als ein A/B/C-Test oder A/B/n-Test bezeichnet.
Multivariate Tests
Bei einem Multivariaten Test handelt es sich um eine Experimentmethode, bei der Varianten mehrerer Seitenelemente gleichzeitig getestet werden. Das Ziel dieser Art ist es herauszufinden, welche Kombination von allen möglichen Permutationen am besten performt. Da diese Art deutlich komplizierter ist, eignet sich ein multivariates Testverfahren am ehesten für Fortgeschrittene im Bereich des A/B-Testing.
Um einen multivariaten Test zu verstehen ist ein Beispiel sehr hilfreich. Wir nehmen an, dass du dich dafür entscheidest, zwei Versionen einer Landingpage zu testen. Die beiden Landingspages unterscheiden sich hinsichtlich der Top-Bar, der Anordnung des Call-to-Actions und den Überschriften.
Um nun die Gesamtzahl der Varianten zu berechnen, kann folgende Formel genutzt werden:
Zahl der Varianten des Elements A x Zahl der Varianten des Elements B x
Zahl der Varianten des Elements C x (…) = ZAHL DER VARIANTEN
Fügt man die uns gegebenen Informationen in diese Formel ein, so erhält man das Ergebnis von insgesamt acht Varianten.
Die Komplexität und Berechnung wurde nun aufgezeigt, doch wo liegt der Vorteil von dieser Art, sofern der multivariate Test richtig durchgeführt wurde? Der Test sorgt dafür, dass nicht mehrere aufeinanderfolgende Split-Tests mit ähnlichen Zielen durchgeführt werden müssen. Die Durchführung eines multivariaten Tests mit einer größeren Anzahl an Variationen hilft dabei, Zeit und auch Geld einzusparen und schneller die gewünschten Ergebnisse zu erhalten. Weiter kann ein solcher Test Zusammenhänge zwischen einzelnen Elementen aufzeigen.
Multi-Page Tests
Multipage-Tests sind eine Form des Experimentierens, bei der Sie Änderungen an bestimmten Elementen auf mehreren Seiten testen können.
Der Multi-Page Test kann auf zwei Arten durchgeführt werden. Zunächst können Sie im Sales Funnel neue Versionen aller Seiten erstellen und diese Testvariante gegen die unveränderten Kontrollvariante testen.
Zweitens können Sie sehen, wie sich das Hinzufügen oder Entfernen sich wiederholender Elemente wie Siegel, Testimonials usw. auf die Conversions entlang des gesamten Funnels auswirkt.
Statistische Ansätze von A/B-Tests
Grundsätzlich gibt es verschiedene Ansätze, welche die Statistik hinter A/B-Tests beschreiben. Am meisten Anwendung finden allerdings der frequentistischer und der Bayes’sche Ansatz. Wir wollen uns nun ein wenig tiefer mit beiden Arten auseinandersetzen, um diese tiefer zu verstehen.
Frequentistischer Ansatz
Der Frequentistische Ansatz kann auch als Häufigkeitsansatz verstanden werden. Er berechnet die Wahrscheinlichkeit eines Ereignisses basierend auf der relativen Häufigkeit, mit der ein spezifisches Ereignis über eine große Anzahl von Datenpunkten auftritt. Bezogen auf das A/B-Testing bedeutet dies, dass jeder, der diesen Ansatz verwendet, mehr Daten (mehr Besucher über längere Zeiträume) benötigt, um die richtigen Schlüsse ziehen zu können. Diese Anforderung erschwert die Skalierung von A/B-Tests. Nach diesem Frequency-Ansatz richtet sich die Dauer eines A/B-Tests nach der gewünschten Stichprobengröße, die für die gewünschte Aussagekraft erforderlich ist. Die Tests basieren auf der Tatsache, dass jedes Experiment unbegrenzt häufig wiederholt werden kann.
Das Befolgen dieses Ansatzes erfordert sorgfältige Aufmerksamkeit für die Details jedes Tests. Denn bei gleicher Besucherzahl müssen sie länger testen als beim Bayes'schen Ansatz. Sorgfalt ist hier das oberste Gebot, da in einem Zeitraum deutlich weniger Tests durchgeführt werden können.
Bayes’schen Ansatz
Thomas Bayes ist der Begründer dieser Ansatzes, welcher auch Grund für den Namen ist. Im Vergleich zum ersten Ansatz ist die Bayessche Statistik ein theoriebasierter Ansatz, der auf einer anderen Interpretation der Wahrscheinlichkeit basiert. Nach Thomas Bayes ist Wahrscheinlichkeit als „der Grad vernünftiger Glaubwürdigkeit“ zu verstehen. Mit anderen Worten: Je mehr man über ein Ereignis weiß, desto besser und schneller kann das Endergebnis vorhersagt werden. Die Wahrscheinlichkeit ist kein fester Wert, aber gemäß der Bayes'schen Statistik kann sie sich ändern, wenn neue Informationen gesammelt werden. Diese Überzeugung kann auf früheren Informationen beruhen, einschließlich der Ergebnisse früherer Prüfungen oder sonstige Informationen bezüglich des Ergebnisses.
Wenn genügend Daten vorhanden sind, bestimmt der Bayes'sche Ansatz zu jedem beliebigen Zeitpunkt die Wahrscheinlichkeit, dass Variante A eine niedrigere Conversion Rate als Variante B oder die Kontrollvariante aufweist. Das gute an diesem Ansatz ist die schnellere Verfügbarkeit von Ergebnissen. Man kann davon ausgehen das dieser Ansatz bis zu 50% schnellere Ergebnisse liefert.
Ein Beispiel hilft am besten, die beiden Ansätze zu verstehen:
Stellen wir uns vor Sie haben den Schlüssel zu ihrem Mercedes verlegt, müssen aber zeitnah los zur Arbeit. Die MyMercedes App gibt ihnen im Haus eine grobe Eingrenzung, wo sich der Schlüssel befinden kann. Nach dem Frequentisischen Ansatz würden sie jetzt genau nur diesen Bereich absuchen. Nach dem Bayes’schen Ansatz würde sie aber auch Bereiche absuchen, bei denen bekannt ist, das der Schlüssel dort schon mal gefunden wurde.
Wir bei abscale setzen daher auf den Ansatz nach Thomas Bayes.
(1-2-3 Schritte Bild)
Grundvoraussetzungen um mit dem Testing zu starten
Grundsätzlich benötigst du drei essenzielle Sachen, um 2023 mit erfolgreichen A/B-Tests zu starten.
- Du benötigst eine Webseite oder einen Onlineshop…
um diese/diesen als Testing Plattform zu benutzen. Deine Webseite kann als Experimentation Hub verstanden werden. Nichts läuft ohne diese Voraussetzung!
- Du brauchst Daten…
um zielführende Hypothesen aufstellen zu können. Denn wenn du deine Hypothese nicht durch Daten stützen kannst, ist auch diese nur reines Bauchgefühl. Die Daten ziehst du am besten aus einem Analytics-Tool.
- Du benötigst ein Testing-Tool…
um die Tests einzurichten und deinen Zielen entsprechend aufsetzen kannst. Hier gibt es verschiedene am Markt. Mit ABLyft, Kameleoon und VWO gibt es beispielsweise verschiedene Anbieter, die verschiedene Stärken haben.
Weiter brauchst du wie schon angesprochen eine klare und datengetriebene Herangehensweise, sowie den Glauben, dass du immer noch ein wenig mehr aus deinem Onlineshop / Webseite herausholen kannst.
abscale’s A/B Testing Prozess
Es gibt verschiedene Arten einen Testingprozess aufzusetzen. Bei abscale haben wir einen extrem effizienten erschaffen, der das maximalste aus Daten rausholt und mit einem hohen Volumen startet.
Allerdings gibt es verschiedene Ansätze. Beispielsweise ist es auch möglich ohne Routine zu testen, sondern die Performance neuer Features vor der Implementierung zu überprüfen. Da die Daten aber meistens ausreichen, um mit einer sauberen Testingroutine zu starten, empfehlen wir immer, so früh wie möglich mit dem Thema anzufangen.
Grundsätzlich gibt es bei uns sechs grundsätzliche Bausteine.
Research & Dataanalytics
Bevor du mit einem Test starten kannst, ist es zwingend notwendig, genug Grundlagen für für gute Testideen zu finden. Diese Grundlagen bestehen fast immer aus der Research-Phase und einer präzisen Datenanalyse. Bitte beachte, dass dieser Schritt wahrscheinlich der wichtigste Schritt für einen erfolgreichen A/B-Test ist.
Während die Datenanalyse quantitativer Vorgehensweise folgt, sind es bei der Research-Phase fast ausschließlich qualitative Aspekte, die genauer analysiert werden. Ziel ist es, Indizien dafür zu finden, was Kunden auf deiner Seite zu einem Kaufabbruch bewegt oder was Ihnen während dem Kaufvorgang nicht gefallen hat.
Ausschlaggebend sind hier Bewertungen, Heatmaps und Kundeninterviews. Hier findest du unfassbar wichtige Informationen, wie du deine Seite noch besser machen kannst.
Demgegenüber steht die Datenanalyse. Im Vergleich zur Research-Phase ist diese von sehr harten Faktoren bestimmt. Durch deine Analytics-Tool, beispielsweise Google-Analytics, kannst du verschiedene Parameter deiner Customer Journey untersuchen. Suche hier nach abnormalen Parametern, die dir Hinweise auf Test-Ansätze geben.
Testideen identifizieren
Die beiden vorangegangenen Punkte geben dir die Möglichkeit Testideen zu finden. Eine Testidee ist noch keine fertige Hypothese, sie verbindet lediglich identifizierte Schwachstellen aus beiden vorangegangenen Analysen. Bitte beachte, dass der Treiber fürs Finden die Datenanalyse ist. Sehr häufig kannst du jedoch Rückschlüsse auf deine Ergebnisse aus der Research-Phase ziehen.
Hypothesen Erstellung & Scoring
Formuliere nun auf Basis deiner Testideen konkrete Hypothese. Jedem Test liegt eine richtig gute Hypothese zugrunde. Eine Hypothese ist eine Vermutung, die für bestimmte Zwecke als wahr angenommen wird, bis sie erhärtet oder widerlegt wird. Hier eignet sich das Wenn-Dann-Weil-Framework.
Du hast beispielsweise eine geringe Mikro Conversion Rate von den Produktseiten zum Warenkorb feststellen können. Das heißt es werden bei vielen Sitzungen zu wenige Produkte in den Warenkorb gelegt. Auf dieser Basis hast du eine Testidee formuliert. Du könntest nun folgende beispielhafte Hypothese formulieren:
WENN wir auf den Produktseiten in der Nähe vom Preis die Produktbewertungen einblenden
DANN steigt die Conversion Rate
WEIL wir das Kundenvertrauen verstärken und der Preisschmerz sinkt.
Dieses Vorgehen wiederholst du für alle deiner Testideen.
Nun kommt der entscheidende Teil. Du musst deine Hypothesen anhand spezifischer Faktoren messen können, um in der Lage zu sein, die verschiedenen Hypothesen zu bewerten. Ist die Hypothese beispielsweise auf Seiten mit vielen Besuchern, gibt es eine höhere Erfolgswahrscheinlichkeit, schnell ein gutes Ergebnis zu erzielen. Wir nutzen hierfür Die besten Hypothesen sind am Ende auch die, welche du testen wirst.
Testdurchführung
Nimm nun deine besten Hypothesen und erstelle zuerst ein Design zu jeder einzelnen. Hier entsteht die wahre Magie, denn deine Hypothese wird nun zum ersten Mal anschaulich. Sobald das Design fertiggestellt ist, geht es darum diesen nun auch in deinem A/B-Testing Tool zu programmieren. Dabei ist es vor allem wichtig das Tracking der Ziele sauber aufzusetzen. Eine vorher berechnete erwartbare Steigerung dient dazu die Laufzeit des Tests zu berrechnen. In der Regel kann ein Test innerhalb von 7-14 Tagen statistische Signifikanz erreichen.
Testauswertung
Der Zeitpunkt ist gekommen, dein Test könnte einen positiven Einfluss auf deinen Shop haben. Nun entscheidet sich, ob sich die geleistete Arbeit auszahlt.
.png)
.png)
