André führt mit den Testtools von LinkedIn einen A/B-Test für zwei unterschiedliche Versionen seiner Anzeigenkampagne durch. Der Test ergibt den p-Wert 0,03. Was sagt dieser p-Wert über seine Anzeigenkampagne aus?

Ein p-Wert von 0,03 bedeutet, dass die Wahrscheinlichkeit, die beobachteten Unterschiede in der Performance zwischen den beiden Anzeigenversionen rein zufällig zu erhalten, nur 3 % beträgt. Da dieser Wert unter dem üblicherweise akzeptierten Signifikanzniveau von 0,05 (oder 5 %) liegt, kann André mit hoher Wahrscheinlichkeit davon ausgehen, dass der Unterschied in der Performance statistisch signifikant ist und nicht nur durch Zufall entstanden ist. Die Aussage, dass beide Versionen gleich gut abschneiden, ist falsch, da der p-Wert eine signifikante Abweichung anzeigt. Ein erneuter Test ist nicht zwingend erforderlich, da ein schlüssiges Ergebnis vorliegt. Der p-Wert gibt auch nicht die Effektivität der Kampagne in Prozent an, sondern die Wahrscheinlichkeit eines zufälligen Ergebnisses.