Der User, das unbekannte Wesen: Was würden wir Campaigner*innen und Fundraiser*innen dafür geben, zu wissen wie er tickt, welche Betreffzeile ihn anspricht, warum er auf einen Call to Action reagiert oder nicht und wie er sich auf unseren Webseiten verhält. Mit A/B Testing (oder auch: Splittesting) kannst du herausfinden was deine Unterstützer*innen zu Online-Handlungen bewegt und so kontinuierlich deine Conversion Rate verbessern. Hier findest du Tipps, die dir zeigen, dass Testing kein Hexenwerk ist und wie du es einfach in deinen Kampagnenalltag integrieren kannst.
Warum testen? It’s all about conversion!
Beim A/B Testing geht es für uns Campaigner*innen und Fundraiser*innen (wie immer) vor allem um die Conversion und die Frage welcher Weg der beste ist, Unterstützer*innen zu einem bestimmten Verhalten zu animieren. Deine Supporter wachsen leider nicht auf den Bäumen und du befindest dich in einem Wettbewerb um ihre Aufmerksamkeit und ihre Unterstützung. Deshalb ist es wichtig, so viele Menschen wie möglich dazu zu bewegen, eine bestimmte Aktion erfolgreich abzuschließen, wenn sie schon einmal auf deiner Webseite oder in deinem E-Mailverteiler sind. Mit Splittests kannst du systematisch daran arbeiten, die Conversion Rate deiner Mailings oder deiner Webseite zu erhöhen.
Wie testen?
Splittests sind simpel: User werden ohne, dass sie es merken, in zwei (oder mehr) Gruppen geteilt und bekommen unterschiedliche Versionen einer Webseite oder eines Mailings gezeigt. Du betrachtest anschließend die Unterschiede bei Öffnungsraten, Klicks oder Conversions und wertest sie aus. Schneidet die getestete Variante der Webseite oder des Mailings besser ab als die ursprüngliche Version (oder auch die “control group”), wird sie zur neuen “Originalseite” bzw. Standardmailing. Diese Seite bzw. Mailing kannst du anschließend gegen neue Seitenvarianten (oder Mailvarianten) testen. Und so weiter…
Für Splittests benötigst du spezielle Tools, die du teilweise kostenlos nutzen kannst (eine Liste mit Tools findest du am Ende des Artikels). Gängige E-Mail-Marketing-Tools, wie z.B. Newsletter2Go, Mailchimp, Cleverreach und Rapidmail bieten auch Splittest-Funktionen, mit denen du deinen Verteiler in beliebig viele und beliebig große Segmente teilen kannst, und für das Testen von Webseiten existieren zahlreiche Tools, die für die zufällige Verteilung der Webseitenbesucher auf die verschiedenen Testversionen sorgen.
Wenn dein E-Mail-Verteiler richtig groß ist, kannst du sogar Pre-Tests zu deinen Mailings machen: Du verschickst dann verschiedene Versionen eines Mailings an kleine Segmente von einigen tausend Personen. Die Version, die am besten perfomt wird dann einige Stunden später an den gesamten Restverteiler verschickt.
Das solltest du beim Testen beachten
- Stell vor jedem Test eine Hypothese auf, die du testen möchtest, denn nur so ergeben sich aus jedem Test auch generalisierbare Learnings für die Zukunft: Also z.B. „Wenn neben dem Spendenformular ein Bild ist, dann wirkt sich dies positiv auf die Conversion aus.“
- Nimm immer nur eine Änderung pro Test vor! Denn mehr Änderungen vermindern die Aussagekraft des Testergebnisses: Du wirst nicht sagen können welche deiner Änderungen der ausschlaggebende Faktor für das Testergebnis war. Außerdem beeinflussen sich mehrere Variablen eventuell noch gegenseitig.
- Mach die Unterschiede zwischen den Versionen, die du gegeneinander testet, so groß wie möglich, denn umso größer ist am Ende die Aussagekraft deines Tests! Teste also nicht einen hellblauen gegen einen dunkelblauen Button, sondern lieber einen grünen gegen einen roten Button.
- Vorsicht beim Vergleich von Testergebnissen zu Webseiten oder Newslettern von anderen Organisationen! Jede Community funktioniert anders, und nur weil etwas auf anderen Webseiten funktioniert, muss das nicht auch für deine Webseite stimmen. Von anderen Organisationen kannst du dir spannende Testideen abgucken, um eigene Tests wirst aber nicht herum kommen.
- Die wichtigste Frage bei deiner Auswertung ist, ob dein Testergebnis statistisch signifikant ist, also ob du tatsächlich einen statistisch belastbaren Zusammenhang zwischen zwei Variablen festgestellt hast oder ob die Unterschiede eher zufällig sind. Dafür kannst du einfach einen der zahlreichen kostenlosen Signifikanzrechner nutzen. Du solltest bei deinen Auswertungen ein Signifikanzniveau von mindestens 0,9, besser 0,95 ansetzen. Das bedeutet, dass du damit zu mindestens 90 Prozent (bzw. 95 Prozent) sicher sein kannst, dass dein Messergebnis nicht reiner Zufall war. Mit einem Signifikanzrechner kannst du außerdem für einen E-Mail-Splittests ermitteln, wie viele Adressen eine Testgruppe mindestens enthalten muss, damit das zu erwartende Ergebnis signifikant ist (s. Beispiele am Ende des Artikels).
Liste mit Splittesting Tools
Mit diesen Tools kannst du A/B Tests mit Webseiten durchführen. Die Tools sorgen dafür, dass die Besucher einer von dir definierten Seite per Zufallsgenerator auf von dir festgelegte Versionen der gleichen Seite gelangen. Die Tools bieten außerdem Analysefunktionen zur Testauswertung.
- Google Analytics: Content Experiments
Wenn du sowie so Google Analytics nutzt, brauchst du kein weiteres, neues Tool. Allerdings sind andere Tools wie z.B. Optimizely intuitiver in der Benutzung, was aber sicher auch Geschmackssache ist.
- Optimizely
Ein einfach zu nutzendes Splittesting-Tool und in seinem Grundfunktionen sogar kostenlos.
- Visual Website Optimizer
Ein ebenso einfach zu nutzendes wie beliebtes Tool, das allerdings nach einer 30-tägigen kostenlosen Testphase in der Basisversion 49 $ pro Monat kostet.
- Läuft Deine Webseite auf einem gängigen CMS-System, gibt es auch Extensions, die Du nutzen kannst: für Drupal, Typo3 und WordPress. So musst Du keine externen Dienste nutzen und außer Setup-Kosten durch deine Programmierer sind die Module kostenlos.
Beispiele für die Arbeit mit Signifikanzrechnern
