Ein Medienunternehmen benötigt Artikel-Empfehlungen mit geringer Latenz für Leser in einer Stadt. Der Traffic erreicht Spitzenwerte zu vorhersehbaren Zeiten (morgens, mittags, nach Feierabend) und ist ansonsten gering. Inferenz-Antworten liegen unter 4 MB. Welche Bereitstellungsoption minimiert die Latenz und ist am kostengünstigsten?

Serverless Inference mit Provisioned Concurrency ist die beste Option, da es die Vorteile von Serverless (kostengünstig bei geringem Traffic) mit der Eliminierung von Kaltstarts (durch Provisioned Concurrency) kombiniert, was für die Spitzenzeiten wichtig ist. Real-time inference endpoints mit Auto Scaling sind teurer, da sie auch bei geringem Traffic ständig Instanzen vorhalten müssen, um die Latenzanforderungen zu erfüllen. Asynchronous inference und Batch transform jobs sind für Echtzeit-Empfehlungen mit geringer Latenz ungeeignet, da sie auf verzögerte Verarbeitung ausgelegt sind und die Benutzer nicht sofort die gewünschten Empfehlungen erhalten würden.