Ein benutzerdefiniertes Vorhersagemodell muss gehostet werden; die Arbeitslast ist vorhersehbar und wird täglich im selben 2-Stunden-Fenster aufrechterhalten, wobei viele Aufrufe schnelle Antworten erfordern. Das Unternehmen möchte, dass AWS die Infrastruktur und das Autoscaling verwaltet. Welche Hosting-Option erfüllt diese Anforderungen?

Amazon SageMaker Serverless Inference ist ideal für Workloads mit unregelmäßigen oder seltenen Anfragen, da es die zugrundeliegende Infrastruktur automatisch skaliert und verwaltet. Die Konfiguration von Provisioned Concurrency stellt sicher, dass eine bestimmte Anzahl von Inferenz-Endpunkten immer bereit ist, um schnelle Antworten während des vorhersehbaren 2-Stunden-Fensters zu liefern, ohne Kaltstarts. Ein geplanter Amazon SageMaker Batch-Transformationsjob wäre für Batch-Verarbeitung geeignet, aber nicht für schnelle Antworten auf viele einzelne Aufrufe. Eine EC2 Auto Scaling-Gruppe mit geplantem Scaling erfordert mehr manuelles Infrastrukturmanagement und ist nicht so nahtlos wie SageMaker Serverless Inference. Ein Amazon EKS-Cluster bietet zwar Flexibilität, ist aber komplexer zu verwalten und überdimensioniert für diese spezifischen Anforderungen, da AWS die Infrastruktur und das Autoscaling vollständig verwalten soll.