Een bedrijf gaat een model implementeren voor productie-inferentie op een SageMaker endpoint. Typische request payloads zijn tussen 100 MB en 300 MB, en elk request moet binnen 60 minuten voltooid zijn. Welke SageMaker inferentie-optie moet worden gebruikt?

Asynchronous inference is de beste keuze omdat het is ontworpen voor grote payloads (tot 1 GB) en lange verwerkingstijden (tot 1 uur), wat perfect aansluit bij de vereisten van 100-300 MB payloads en 60 minuten verwerkingstijd. Real-time inference is ongeschikt vanwege de payloadlimiet van 5 MB en de strikte latency-eisen (meestal milliseconden). Serverless inference heeft ook een payloadlimiet van 4 MB en een time-out van 60 seconden, waardoor het niet voldoet. Batch transform is bedoeld voor offline verwerking van grote datasets en niet voor individuele, op aanvraag gebaseerde inferentie.