Deine Uplifts sind nicht real – Statistische Signifikanz ist nicht gleich Validität

Ein beliebtes Szenario: Ein Unternehmen führt im Laufe eines Jahres Dutzende von A/B-Tests durch, von denen viele "gewinnen". Einige Test-Varianten steigern den Umsatz um 25% oder sogar mehr. Wenn die Änderungen dann eingeführt werden, steigt der Umsatz jedoch nicht um 25%. Und 12 Monate nach Durchführung aller Tests ist die Conversionrate noch immer ähnlich. Wie kommts? [...]

Sample Pollution: Darum stimmt dein A/B-Test nicht

Du wirst die Sample Pollution niemals vollständig beseitigen können. Cookies werden gelöscht, mehrere Geräte und Browser werden verwendet, und technische Faktoren spielen eine Rolle. Du kannst aber die Daten so clean wie möglich machen und Sample Pollution minimieren und isolieren, so dass deine Optimierungen auf statistisch signifikanten (und wirklich relevanten) Daten beruht.

A/B-Tests beenden: Wie viele Conversions benötige ich?

A/B-Tests sind sehr hilfreich und mittlerweile einfach umzusetzen. Die A/B-Testing Tools werden immer besser. Daher verlassen sich die Menschen immer mehr auf die Entwickler und Anbieter dieser Testing-Tools, während das kritische Denken ein wenig verloren geht. Es ist unfair, ausschließlich die Testing-Tools dafür verantwortlich zu machen. Man kann den Tools nicht vorwerfen, dass sie versuchen, alles [...]

So funktioniert A/B-Testing – Der Einstieg

Die Grundlagen des A/B Testings In unserem letzten Artikel ging es darum, was getestet werden sollte. Jetzt müssen wir unsere Hypothesen anwenden, bestätigen und daraus lernen. Wähle ein Testwerkzeug aus und erstelle deine Optimierungen / alternativen Varianten, um sie im Test mit der aktuellen Seite (wir nennen diese Original, Control oder Baseline) zu vergleichen. Es gibt [...]

Stats-Engines im A/B Testing – Was ist der Unterschied?

Bayesian vs. Frequentist A/B Testing - Was ist der Unterschied? Die sogenannte Stats-Engine deines A/B-Testing-Tools hat einen entscheidenden Einfluss darauf, wann und wie deine Experimente als erfolgreich gemeldet werden. Die A/B-Test-Tools drehen die Signifikanz-Berechnung in der Regel um und liefern einen Wert mit dem Namen "Chance to beat Control" (CTBC) oder "Chance to beat Baseline" (CTBB). [...]

By | 2018-04-12T12:27:19+00:00 12. April 2017|Categories: A/B-Testing, Statistik, Technik, Tools|Tags: , , |0 Comments