Ein E-Commerce-Unternehmen erhält täglich mehrere Gigabyte an Kundendaten und trainiert ein Nachfrageprognosemodell. Es muss einmal täglich Inferenzen durchführen. Welcher Inferenztyp ist am besten geeignet?

Batch-Inferenz ist die beste Wahl, da das Modell einmal täglich Inferenzen für eine große Menge gesammelter Daten durchführen muss. Bei der Batch-Inferenz werden Vorhersagen für eine Gruppe von Eingaben gleichzeitig generiert, was effizient ist, wenn Echtzeitantworten nicht erforderlich sind und die Daten in regelmäßigen Intervallen gesammelt werden. Asynchrone Inferenz ist für Anfragen gedacht, die keine sofortige Antwort erfordern, aber typischerweise ereignisgesteuert sind und nicht für einen festen täglichen Zeitplan mit großen Datenmengen optimiert sind. Echtzeit-Inferenz ist ungeeignet, da sie für Anwendungen mit geringer Latenz konzipiert ist, bei denen sofortige Vorhersagen für einzelne oder kleine Datensätze benötigt werden, was hier nicht der Fall ist. Serverless-Inferenz beschreibt ein Bereitstellungsmodell, nicht den Inferenztyp selbst, und könnte zwar für Batch-Inferenz verwendet werden, ist aber keine direkte Antwort auf die Frage nach dem am besten geeigneten Inferenztyp.