Home » Fangt an zu testen! Mit A/B Tests Webseite und E-Mail optimieren

A-B-Test2

Fangt an zu testen! Mit A/B Tests Webseite und E-Mail optimieren

Der User, das unbekannte Wesen: Was würden wir Campaigner*innen und Fundraiser*innen dafür geben, zu wissen wie er tickt, welche Betreffzeile ihn anspricht, warum er auf einen Call to Action reagiert oder nicht und wie er sich auf unseren Webseiten verhält. Mit A/B Testing (oder auch: Splittesting) kannst du herausfinden was deine Unterstützer*innen zu Online-Handlungen bewegt und so kontinuierlich deine Conversion Rate verbessern. Hier findest du Tipps, die dir zeigen, dass Testing kein Hexenwerk ist und wie du es einfach in deinen Kampagnenalltag integrieren kannst.

Warum testen? It’s all about conversion!

Beim A/B Testing geht es für uns Campaigner*innen und Fundraiser*innen (wie immer) vor allem um die Conversion und die Frage welcher Weg der beste ist, Unterstützer*innen zu einem bestimmten Verhalten zu animieren. Deine Supporter wachsen leider nicht auf den Bäumen und du befindest dich in einem Wettbewerb um ihre Aufmerksamkeit und ihre Unterstützung. Deshalb ist es wichtig, so viele Menschen wie möglich dazu zu bewegen, eine bestimmte Aktion erfolgreich abzuschließen, wenn sie schon einmal auf deiner Webseite oder in deinem E-Mailverteiler sind. Mit Splittests kannst du systematisch daran arbeiten, die Conversion Rate deiner Mailings oder deiner Webseite zu erhöhen.

 

Wie testen?

Splittests sind simpel: User werden ohne, dass sie es merken, in zwei (oder mehr) Gruppen geteilt und bekommen unterschiedliche Versionen einer Webseite oder eines Mailings gezeigt. Du betrachtest anschließend die Unterschiede bei Öffnungsraten, Klicks oder Conversions und wertest sie aus. Schneidet die getestete Variante der Webseite oder des Mailings besser ab als die ursprüngliche Version (oder auch die “control group”), wird sie zur neuen “Originalseite” bzw. Standardmailing. Diese Seite  bzw. Mailing kannst du anschließend gegen neue Seitenvarianten (oder Mailvarianten) testen. Und so weiter…
Für Splittests benötigst du spezielle Tools, die du teilweise kostenlos nutzen kannst (eine Liste mit  Tools findest du am Ende des Artikels). Gängige E-Mail-Marketing-Tools, wie z.B. Newsletter2Go, Mailchimp, Cleverreach und Rapidmail bieten auch Splittest-Funktionen, mit denen du deinen Verteiler in beliebig viele und beliebig große Segmente teilen kannst, und für das Testen von Webseiten existieren zahlreiche Tools, die für die zufällige Verteilung der Webseitenbesucher auf die verschiedenen Testversionen sorgen.

Wenn dein E-Mail-Verteiler richtig groß ist, kannst du sogar Pre-Tests zu deinen Mailings machen: Du verschickst dann verschiedene Versionen eines Mailings an kleine Segmente von einigen tausend Personen. Die Version, die am besten perfomt wird dann einige Stunden später an den gesamten Restverteiler verschickt.

 

Das solltest du beim Testen beachten

  • Stell vor jedem Test eine Hypothese auf, die du testen möchtest, denn nur so ergeben sich aus jedem Test auch generalisierbare Learnings für die Zukunft: Also z.B. „Wenn neben dem Spendenformular ein Bild ist, dann wirkt sich dies positiv auf die Conversion aus.“
  • Nimm immer nur eine Änderung pro Test vor! Denn mehr Änderungen vermindern die Aussagekraft des Testergebnisses: Du wirst nicht sagen können welche deiner Änderungen der ausschlaggebende Faktor für das Testergebnis war. Außerdem beeinflussen sich mehrere Variablen eventuell noch gegenseitig.
  • Mach die Unterschiede zwischen den Versionen, die du gegeneinander testet, so groß wie möglich, denn umso größer ist am Ende die Aussagekraft deines Tests! Teste also nicht einen hellblauen gegen einen dunkelblauen Button, sondern lieber einen grünen gegen einen roten Button.
  • Vorsicht beim Vergleich von Testergebnissen zu Webseiten oder Newslettern von anderen Organisationen! Jede Community funktioniert anders, und nur weil etwas auf anderen Webseiten funktioniert, muss das nicht auch für deine Webseite stimmen. Von anderen Organisationen kannst du dir spannende Testideen abgucken, um eigene Tests wirst aber nicht herum kommen.
  • Die wichtigste Frage bei deiner Auswertung ist, ob dein Testergebnis statistisch signifikant ist, also ob du tatsächlich einen statistisch belastbaren Zusammenhang zwischen zwei Variablen festgestellt hast oder ob die Unterschiede eher zufällig sind. Dafür kannst du einfach einen der zahlreichen kostenlosen Signifikanzrechner nutzen. Du solltest bei deinen Auswertungen ein Signifikanzniveau von mindestens 0,9, besser 0,95 ansetzen. Das bedeutet, dass du damit zu mindestens 90 Prozent (bzw. 95 Prozent) sicher sein kannst, dass dein Messergebnis nicht reiner Zufall war. Mit einem Signifikanzrechner kannst du außerdem für einen E-Mail-Splittests ermitteln, wie viele Adressen eine Testgruppe mindestens enthalten muss, damit das zu erwartende Ergebnis signifikant ist (s. Beispiele am Ende des Artikels).

 

Liste mit Splittesting Tools

Mit diesen Tools kannst du A/B Tests mit Webseiten durchführen. Die Tools sorgen dafür, dass die Besucher einer von dir definierten Seite per Zufallsgenerator auf von dir festgelegte Versionen der gleichen Seite gelangen. Die Tools bieten außerdem Analysefunktionen zur Testauswertung.

  • Google Analytics: Content Experiments
    Wenn du sowie so Google Analytics nutzt, brauchst du kein weiteres, neues Tool. Allerdings sind andere Tools wie z.B. Optimizely intuitiver in der Benutzung, was aber sicher auch Geschmackssache ist.
  • Optimizely
    Ein einfach zu nutzendes Splittesting-Tool und in seinem Grundfunktionen sogar kostenlos.
  • Visual Website Optimizer
    Ein ebenso einfach zu nutzendes wie beliebtes Tool, das allerdings nach einer 30-tägigen kostenlosen Testphase in der Basisversion 49 $ pro Monat kostet.
  • Läuft Deine Webseite auf einem gängigen CMS-System, gibt es auch Extensions, die Du nutzen kannst: für Drupal, Typo3 und WordPress. So musst Du keine externen Dienste nutzen und außer Setup-Kosten durch deine Programmierer sind die Module kostenlos.

 

Beispiele für die Arbeit mit Signifikanzrechnern

Dies ist ein Text.
Der Screenshot zeigt eine Signifikanzanalyse mit dem kostenlosen Signifikanzrechner von „Get Data Driven“: Auf Version A meiner Webseite waren 3000 Besucher, die zu 560 Conversions geführt haben (z.B. 560 Unterzeichner einer Petition). Version B hat mit 3200 Besuchern und 680 Unterzeichungen satte 14% mehr Conversions erzielt. Der Rechner bestätigt: Das Ergebnis ist zu 99% signifikant.

 

Screenshot-Signifikanzrechner2
Reicht es aus zwei verschiedene E-Mails an nur 500 Adressen zu testen? Oder muss die Testgruppe größer sein? Lege deine bisherige durchschnittliche Conversion Rate zu Grunde (in diesem Beispiel 10%, also 50 Conversions). Bei Version B würde ich eher konservativ immer von einer mäßigen Verbesserung ausgehen. Und: Der Rechner sagt dir, dass unter diesen Bedingungen die Testgruppe zu klein kalkuliert ist, denn  ein Signifikanzniveau von 84% ist statistisch nicht belastbar. Du solltest also die Testgruppen vergrößern. Oder du gehst optimistisch von einer höheren Conversion bei deiner Version B aus, dann ändert sich das Signifikanzniveau zu deinen Gunsten – du riskierst aber gleichzeitig, einen Test durchzuführen, der am Ende keinerlei Aussagekraft haben könnte.

One comment

  1. Sebastian says:

    Hey Nikolai,
    danke für den Artikel. Eine richtig tolle Übersicht zu so einem so wichtigen Thema.
    Wir arbeiten aktuell mit Optimizely, was ich nur empfehlen kann.

    Als Ergänzung: Ich habe letztes Jahr auf Sozialmarketing einen Artikel über Conversion-Rate-Optimierung geschrieben, da sind noch mal viele wichtige Grundlagen zur CRO enthalten: http://sozialmarketing.de/die-wichtigsten-elemente-der-conversion-rate-optimierung-von-der-nutzerfuehrung-zum-call-to-action/

    PS: Vielleicht könnt ihr hier noch Teil 2 zum A/B-Testing verlinken, über diesen Artikel bin ich ursprünglich gekommen :)

    Viele Grüße, Sebastian

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind markiert *