BrightDrive möchte einen GPU-Echtzeit-Endpunkt mit geringem Datenverkehr durch SageMaker Serverless Inference ersetzen, um Kosten zu sparen. Sie müssen die Parallelität steuern und die Kompromisse bei der Latenz verstehen. Welche Aussage beschreibt am genauesten, wie Serverless konfiguriert wird und welche Kompromisse es im Vergleich zu einem persistenten Echtzeit-Endpunkt gibt?

Die korrekte Antwort beschreibt genau die Konfiguration und Kompromisse von SageMaker Serverless Inference. Sie können MaxConcurrency und die Speichergröße festlegen, um die Parallelität zu steuern. Serverless skaliert von Null, was zu Kaltstarts und höherer Latenz bei den ersten Anfragen führen kann, ist aber kostengünstig für intermittierenden Datenverkehr. Persistente Echtzeit-Endpunkte bieten niedrigere, konsistentere Latenz und unterstützen GPUs sowie bereitgestellte Kapazität, was Serverless Inference derzeit nicht tut. Die anderen Optionen sind falsch, weil: Serverless Inference unterstützt keine Provisioned Concurrency, um Kaltstarts zu eliminieren, und unterstützt keine GPU-Instanztypen. Serverless Inference hat Parallelitätseinstellungen (MaxConcurrency) und ist nicht auf einzelne gleichzeitige Aufrufe beschränkt. Serverless Inference garantiert keine identische p99-Latenz und Kaltstarts können auftreten, selbst wenn MaxConcurrency 1 ist, da es von Null skaliert.