RetailVision ha 240 modelli di personalizzazione per negozio (ciascuno di circa 120 MB) che vengono interrogati raramente (minuti tra le richieste per modello). Attualmente ospitano ogni modello come un endpoint separato, il che è costoso. Vogliono consolidare per minimizzare i costi mantenendo una latenza di cold-start accettabile quando un modello viene richiesto per la prima volta. Qual è il miglior approccio di hosting SageMaker per ridurre i costi in questo scenario?

La soluzione migliore è un endpoint multi-modello SageMaker. Questo approccio consolida più modelli su un numero inferiore di istanze, riducendo significativamente i costi rispetto a endpoint separati per ogni modello. I modelli vengono caricati da S3 nella memoria dell'istanza solo quando richiesti, il che è efficiente per modelli interrogati raramente. La latenza di cold-start è accettabile perché si verifica solo al primo caricamento di un modello. Le istanze EC2 con un server Flask richiederebbero la gestione manuale dell'infrastruttura e il caricamento di tutti i modelli in memoria all'avvio sarebbe costoso e inefficiente data la scarsa frequenza di utilizzo. 240 endpoint real-time separati, anche con autoscaling a zero, manterrebbero un costo di gestione elevato e non risolverebbero il problema del consolidamento. L'inferenza asincrona non è adatta per requisiti di bassa latenza e mantenere una concorrenza minima di 1 per ogni endpoint sarebbe costoso.