Ein Unternehmen verfügt über ein trainiertes ML-Modell in Amazon SageMaker, das in der Produktion mit hoher Verfügbarkeit, minimaler Latenz und der Fähigkeit, unvorhersehbare Anfragespitzen zu bewältigen, gehostet werden muss. Jede Anfrage wird zwischen 1 KB und 3 MB groß sein. Die Inferenzkapazität muss proportional zur Nachfrage skaliert werden. Wie sollte das Unternehmen das Modell bereitstellen?

Die Erstellung eines SageMaker Real-Time Inference Endpoints mit aktiviertem Autoscaling ist die optimale Lösung. SageMaker Real-Time Endpoints sind für hohe Verfügbarkeit und geringe Latenz konzipiert und eignen sich hervorragend für unvorhersehbare Anfragespitzen, da das Autoscaling die Inferenzkapazität automatisch an die Nachfrage anpasst. Die Modellgröße von 1 KB bis 3 MB ist für Echtzeit-Inferenz geeignet. Das Hosten in einem Amazon ECS-Cluster oder die Bereitstellung in Amazon EKS über den SageMaker Operator erfordert mehr manuellen Einrichtungs- und Wartungsaufwand und bietet nicht die gleiche nahtlose Integration und Optimierung wie ein nativer SageMaker Endpoint. Inferenz auf Spot Instances ist zwar kostengünstig, aber nicht für Workloads mit hoher Verfügbarkeit und minimaler Latenz geeignet, da Spot Instances jederzeit unterbrochen werden können.