RetailVision verfügt über 240 Personalisierungsmodelle pro Geschäft (jedes ca. 120 MB), die selten abgefragt werden (Minuten zwischen Anfragen pro Modell). Derzeit hosten sie jedes Modell als separaten Endpunkt, was kostspielig ist. Sie möchten konsolidieren, um die Kosten zu minimieren und gleichzeitig eine akzeptable Kaltstartlatenz zu gewährleisten, wenn ein Modell zum ersten Mal angefordert wird. Welcher SageMaker-Hosting-Ansatz ist in diesem Szenario am besten geeignet, um die Kosten zu senken?

Die Verwendung eines SageMaker Multi-Modell-Endpunkts ist die kostengünstigste Lösung. Sie ermöglicht das Hosten mehrerer Modelle auf einer einzigen Instanz, wobei die Modelle bei Bedarf aus S3 geladen werden. Dies reduziert die Anzahl der benötigten Instanzen erheblich und senkt die Kosten für selten abgefragte Modelle. Die Option mit EC2 ist teurer und erfordert mehr Verwaltungsaufwand. 240 separate Multi-Container-Endpunkte sind ebenfalls kostspielig und nicht für selten genutzte Modelle optimiert, da das Skalieren auf Null bei Multi-Container-Endpunkten nicht direkt unterstützt wird. Asynchrone Inferenz ist für Batch-Verarbeitung oder lange Inferenzzeiten gedacht und nicht für Echtzeit-Personalisierung, und das Beibehalten einer Mindestgleichzeitigkeit von 1 pro Modell würde die Kosten unnötig erhöhen.