A/B-Test-Signifikanzrechner
Prüfen Sie, ob Ihr A/B-Test-Ergebnis statistisch signifikant ist.
Ergebnis
So wird gerechnet
Das Tool führt einen Zwei-Stichproben-z-Test für Anteile durch. Die Konversionsraten sind pA = cA / nA und pB = cB / nB, wobei n die Besucher und c die Konversionen je Variante sind. Die gepoolte Rate ist p = (cA + cB) / (nA + nB), der Standardfehler ist SE = √(p(1 − p)(1/nA + 1/nB)) und z = (pB − pA) / SE. Die angezeigte Steigerung ist (pB − pA) / pA als Prozentwert. Hat A keine Konversionen (Ausgangswert 0%), ist die relative Steigerung nicht definiert und wird als „—“ angezeigt.
Das Urteil steht fest: |z| ≥ 1,96, ein zweiseitiges Niveau von 95%, wird als statistisch signifikant gemeldet, alles Kleinere als nicht signifikant. Ein p-Wert wird nicht angezeigt. Die Konversionen dürfen die Besucherzahl nicht übersteigen, und die Besucherzahlen müssen größer als null sein. Der Test setzt voraus, dass die Besucher zufällig aufgeteilt und die Stichprobengrößen im Voraus festgelegt wurden.
Rechenbeispiel
Variante A: 5.000 Besucher, 250 Konversionen, also pA = 5,00%. Variante B: 5.000 Besucher, 300 Konversionen, also pB = 6,00%. Die gepoolte Rate beträgt 550 / 10.000 = 5,5%, woraus SE ≈ 0,00456 folgt. Die Differenz von 0,01 geteilt durch diesen Wert ergibt z ≈ 2,19. Die Steigerung beträgt 1 / 5 = 20,00%. Da 2,19 über 1,96 liegt, lautet das Urteil Statistisch signifikant. Bei nur 1.000 Besuchern je Variante und denselben Raten sinkt z auf 0,98, und das Ergebnis ist nicht signifikant.
Häufige Fehler
- Konversionsraten in das Feld für Konversionen eingeben. Es braucht Anzahlen (250), keine Prozentwerte (5).
- Den Test beenden, sobald das Ergebnis signifikant wird. Wiederholtes Prüfen und vorzeitiges Beenden erhöht die Zahl falsch positiver Ergebnisse; legen Sie die Stichprobengröße vorher fest.
- Die Steigerung von 20,00% als Prozentpunkte lesen. Sie ist relativ: Von 5% auf 6% ist ein Gewinn von 1 Punkt, was eine relative Steigerung von 20% ist.
- Ein signifikantes Ergebnis als Beweis dafür ansehen, dass die Änderung groß oder wertvoll ist. Es besagt nur, dass die Lücke bei dieser Schwelle wahrscheinlich kein Zufall ist.
- Summen aus ungleichen oder nicht zufälligen Verkehrsaufteilungen einfügen oder wiederkehrende Besucher doppelt zählen, was die vom Test vorausgesetzte Unabhängigkeit zerstört.
Quellen
- 10.3 Comparing Two Independent Population Proportions, Introductory Statistics 2e — OpenStax, Rice University
Über diesen Rechner
Dieser Rechner führt einen Zwei-Stichproben-z-Test für Anteile durch, um zu prüfen, ob der Unterschied zwischen zwei Konversionsraten statistisch signifikant ist. Er berechnet aus beiden Stichprobengrößen und Konversionszahlen einen gepoolten Standardfehler und vergleicht den resultierenden z-Wert mit 1,96, der Signifikanzschwelle bei einem Konfidenzniveau von 95% (zweiseitig).
Produktmanager, Growth-Marketer und UX-Forschende nutzen ihn nach einem A/B-Test einer Landingpage, einer E-Mail-Betreffzeile oder eines Checkout-Ablaufs, um zu entscheiden, ob ein Anstieg der Konversionen echt oder nur zufälliges Rauschen ist.
War das hilfreich?
Sie können bis zu 3 Reaktionen auswählen.
Beliebte Rechner
Kreditrechner
Monatliche Rate, Gesamtzinsen und vollständiger Tilgungsplan.
Prozentrechner
Berechnen Sie Prozentanteile, prozentuale Veränderungen und Verhältnisse.
Rabattrechner
Berechnen Sie aus Originalpreis und Rabattsatz den Preis nach Rabatt, den Rabattbetrag und Ihre Ersparnis.
BMI-Rechner
Body-Mass-Index aus Größe und Gewicht (metrisch oder imperial).
Altersrechner
Berechnen Sie Ihr genaues Alter in Jahren, Monaten und Tagen aus dem Geburtsdatum.
Zinseszinsrechner
Berechnen Sie den Endbetrag und die verdienten Zinsen mit Zinseszins.
Alle Rechner
- Kreditrechner
- Gewinnrechner
- Rabattrechner
- BMI-Rechner
- Prozentrechner
- Idealgewichts-Rechner
- Altersrechner
- Geburtstermin-Rechner
- Zinseszinsrechner
- BMR-Rechner (Grundumsatz)
- Trinkgeldrechner
- Kraftstoffkostenrechner
- Datumsdifferenz-Rechner
- Schlafzyklusrechner
- Täglicher Wasserbedarf-Rechner
- Einfachzins-Rechner
- Herzfrequenz-Zonen-Rechner
- Laufpace-Rechner
- Haustier-Alter-Rechner
- Kalorienverbrauchsrechner
- Makro-Rechner
- TDEE-Rechner (Gesamtumsatz pro Tag)
- Taille-Hüft-Verhältnis-Rechner
- Auszeichnungsurkunde-Rechner (Takdir/Teşekkür)
- One-Rep-Max-Rechner (1RM)
- Eisprungrechner
- Stromkostenrechner
- Grundpreisrechner
- Sparziel-Rechner
- Break-even-Rechner
- Farbrechner
- Notenrechner für den Kursdurchschnitt
- Werktagerechner
- Zeitdauer-Rechner
- Kraftstoffverbrauchsrechner
- Temperaturumrechner
- Fliesenrechner
- Seitenverhältnis-Rechner
- Umrechner für römische Zahlen
- Rechner für die Zeit bis zum Zielgewicht
- Gehaltsumrechner (Stunde in Jahr)
- Kreditkartenprüfer (Luhn)
- Rechner für die Körperoberfläche (KOF)
- Rechner für die gefühlte Temperatur
- Rechner für das ohmsche Gesetz
- PPI-Rechner (Pixeldichte)
- Rechner für die molare Masse
- Sternzeichenrechner (westlich + chinesisch)
- IBAN-Prüfer
- Schuhgrößen-Umrechner
- Länderinfo- und Vorwahlsuche
- Zeitzonendifferenz (Weltuhr)
- CAGR-Rechner (durchschnittliche jährliche Wachstumsrate)
- 72er-Regel-Rechner
- Blutalkohol-Rechner (BAC)
- Rechner für fettfreie Körpermasse (LBM)
- Rechner zum Satz des Pythagoras
- Geschwindigkeitsrechner
- Download-Zeit-Rechner
- Datumsrechner (addieren/subtrahieren)
Keine Rechner gefunden
Kommentare