Sie müssen ein trainiertes Modell hosten, das tagsüber eine ungleichmäßige Anfragerate erhält. Das Hosting muss auf Spitzennachfrage skalieren, aber die Kosten im Leerlauf minimieren. Welcher Hosting-Ansatz erfüllt diese Anforderungen?

Die Bereitstellung des Modells an einem Amazon SageMaker-Endpunkt mit konfigurierten Autoscaling-Richtlinien ist die beste Lösung. SageMaker-Endpunkte sind für das Hosting von ML-Modellen optimiert und das Autoscaling ermöglicht es, die Anzahl der Instanzen basierend auf CloudWatch-Metriken (z. B. CPU-Auslastung oder Aufrufe pro Sekunde) dynamisch anzupassen. Dies gewährleistet eine Skalierung bei Spitzennachfrage und minimiert die Kosten in Leerlaufzeiten, da die Instanzen bei geringer Last heruntergefahren werden können. Feste Parallelität bei AWS Lambda ist nicht ideal, da Lambda-Funktionen für kurzlebige, ereignisgesteuerte Aufgaben konzipiert sind und das Hosting eines persistenten Modells ineffizient sein kann. Ein ECS-Cluster mit statischer Aufgabenanzahl, dimensioniert für die Spitzenlast, würde unnötige Kosten verursachen, da die Ressourcen auch bei geringer Nachfrage bereitgestellt blieben. Mehrere Kopien hinter einem ALB ohne Autoscaling würden ebenfalls statische Kosten verursachen und nicht dynamisch auf die Nachfrage reagieren.