Een e-commercebedrijf ontvangt dagelijks meerdere gigabytes aan klantgegevens en traint een vraagvoorspellingsmodel. Ze moeten één keer per dag inferenties uitvoeren. Welk inferentietype is het meest geschikt?

Batch inference is het meest geschikt omdat het e-commercebedrijf dagelijks meerdere gigabytes aan klantgegevens ontvangt en slechts één keer per dag inferenties hoeft uit te voeren. Dit betekent dat de inferenties niet direct hoeven te gebeuren, maar kunnen worden gebundeld en verwerkt wanneer de volledige dataset beschikbaar is. Dit is efficiënter en kosteneffectiever voor grote hoeveelheden gegevens die niet onmiddellijk resultaten vereisen. Asynchrone inferentie is minder geschikt omdat het vaak wordt gebruikt voor taken die weliswaar niet real-time zijn, maar toch sneller dan een dagelijkse batch moeten worden verwerkt, of wanneer de verwerkingstijd variabel is. Real-time inferentie is overbodig en duur, omdat de vraagvoorspelling niet direct hoeft te reageren op individuele aanvragen. Serverless inferentie is een implementatiemethode die zowel voor real-time als batch inferentie kan worden gebruikt, maar beschrijft niet het inferentietype zelf.