Ein CPU-basiertes Modell soll Echtzeit-Vorhersagen mit intermittierendem Traffic während der Geschäftszeiten und Leerlaufzeiten außerhalb der Geschäftszeiten liefern. Welche SageMaker-Hosting-Option ist für dieses Muster am kostengünstigsten?

SageMaker Serverless Inference Endpoints sind ideal für intermittierenden Traffic, da sie automatisch auf null skalieren, wenn keine Anfragen vorliegen, und nur für die tatsächliche Nutzung abgerechnet werden. Die Konfiguration einer erhöhten bereitgestellten Parallelität während der Geschäftszeiten stellt sicher, dass genügend Ressourcen für Spitzenlasten verfügbar sind, ohne dass Endpunkte ständig aktiv sein müssen. Real-time Endpoints mit Auto-Scaling sind weniger kosteneffizient, da sie auch bei null Traffic mindestens eine Instanz aufrechterhalten. Asynchronous Inference ist für Batch-Verarbeitung gedacht und nicht für Echtzeit-Vorhersagen. Eine Lambda-Funktion zum Aktivieren/Deaktivieren eines Real-time Endpoints ist komplex und führt zu Kaltstarts bei jeder Aktivierung.