Op welke manier wijken incrementaliteitsexperimenten af van A/B-experimenten?

Incrementaliteitsexperimenten meten de toegevoegde waarde van advertenties door te bepalen hoeveel extra conversies plaatsvinden dankzij de advertenties, die anders niet zouden zijn gebeurd. Ze beantwoorden de vraag: "Wat zou er gebeurd zijn zonder deze advertentie?" Dit doen ze doorgaans met een controlegroep die de advertenties niet ziet. A/B-experimenten daarentegen vergelijken de prestaties van verschillende versies van een advertentie of campagne om te zien welke versie het beste presteert, zonder direct de incrementele impact te meten. De optie over relatieve effectiviteit beschrijft A/B-testen. De optie over kleinere steekproefgrootte en minder geavanceerde statistische analyse is onjuist; incrementaliteitstesten vereisen vaak juist robuuste statistiek. De optie over een holdback-groep die bepaalt welke versie beter presteert, beschrijft ook meer een A/B-test met een controlegroep, niet specifiek de incrementele impact op de conversiebeslissing.