Eine ML-Produktionspipeline auf Amazon SageMaker verarbeitet Eingaben bis zu 1 GB und Jobs, die bis zu einer Stunde laufen können, aber die Anwendung erfordert nahezu Echtzeit-Antworten. Welche SageMaker-Inferenzoption ist am besten geeignet?

Asynchronous inference ist die beste Wahl, da sie für große Payloads (bis zu 1 GB) und lange Verarbeitungszeiten (bis zu einer Stunde) ausgelegt ist, während sie dennoch nahezu Echtzeit-Antworten liefert. Real-time inference ist für niedrige Latenz und kleine Payloads gedacht, nicht für 1 GB. Serverless inference ist ebenfalls für kleinere Payloads und kürzere Verarbeitungszeiten optimiert. Batch transform ist für die Verarbeitung großer Datenmengen offline konzipiert und bietet keine nahezu Echtzeit-Antworten.