Ein ML-Modell bewertet Kunden in einer Online-Anwendung, um zu bestimmen, welches Produkt angezeigt werden soll. Der Ingenieur muss die Antwortlatenz minimieren. Wie sollte das Modell in SageMaker bereitgestellt werden, um die Anforderungen an geringe Latenz zu erfüllen?

Um die Antwortlatenz für ein ML-Modell in einer Online-Anwendung zu minimieren, ist ein Echtzeit-Inferenz-Endpunkt die beste Wahl. Dieser Endpunkt verarbeitet Anfragen synchron und liefert Vorhersagen sofort zurück, was für interaktive Anwendungen wie die Produktanzeige unerlässlich ist. Batch-Transform ist für die Verarbeitung großer Datenmengen im Stapelbetrieb konzipiert und bietet keine geringe Latenz für einzelne Anfragen. Serverlose Inferenz-Endpunkte bieten zwar Skalierbarkeit und Kosteneffizienz, können aber aufgrund von Kaltstarts eine höhere Latenz aufweisen. Asynchrone Inferenz-Endpunkte sind für Anwendungsfälle gedacht, bei denen eine sofortige Antwort nicht erforderlich ist und die Verarbeitung länger dauern kann, was den Anforderungen an geringe Latenz widerspricht.