Aký zmysel má vykonávanie skutočného A/B testu pri experimentoch s kampaňami?

Správna odpoveď je tá, ktorá uvádza, že A/B testy sa vykonávajú súbežne s pôvodnou kampaňou, aby sa kontrolovali vonkajšie faktory, ako je sezónnosť. Súbežné spustenie experimentálnej a kontrolnej skupiny zabezpečuje, že obe skupiny sú vystavené rovnakým externým podmienkam (napr. sezónne trendy, zmeny v správaní spotrebiteľov, konkurenčné aktivity). To umožňuje inzerentovi s istotou pripísať akékoľvek rozdiely vo výsledkoch testovaným zmenám, a nie iným vplyvom. Ostatné možnosti sú nesprávne: Spustenie len jednej kampane s časovým odstupom by nezabezpečilo kontrolu nad vonkajšími faktormi, pretože podmienky sa môžu v priebehu času meniť. A/B test je primárne určený na testovanie jednej alebo niekoľkých kľúčových premenných naraz, nie viacerých premenných súbežne, čo by sťažilo izoláciu vplyvu jednotlivých zmien. Hoci A/B testy môžu pomôcť pochopiť vplyv na akcie používateľov, ich hlavným zmyslom je izolovať vplyv konkrétnych zmien kontrolou externých faktorov, nie len určiť, či došlo k akcii.