Ein Unternehmen wird ein Modell für die Produktionsinferenz auf einem SageMaker-Endpunkt bereitstellen. Typische Anforderungs-Payloads liegen zwischen 100 MB und 300 MB, und jede Anforderung muss innerhalb von 60 Minuten abgeschlossen sein. Welche SageMaker-Inferenzoption sollte verwendet werden?

Asynchrone Inferenz ist die beste Option, da sie für große Anforderungs-Payloads (bis zu 1 GB) und lange Verarbeitungszeiten (bis zu 1 Stunde) konzipiert ist. Die Anforderungen werden in eine Warteschlange gestellt und asynchron verarbeitet, was die angegebenen Anforderungen erfüllt. Serverless Inference ist für geringere Latenz und kleinere Payloads (bis zu 10 MB) gedacht. Real-time Inference ist für sehr niedrige Latenz und kleine Payloads (bis zu 5 MB) optimiert. Batch Transform ist für die Verarbeitung großer Datenmengen in einem einzigen Auftrag konzipiert, nicht für individuelle Anfragen mit spezifischen Zeitvorgaben pro Anforderung.