Un'azienda ha un modello ML addestrato in Amazon SageMaker che deve essere ospitato in produzione con alta disponibilità, latenza minima e la capacità di gestire picchi imprevedibili di richieste. Ogni richiesta sarà compresa tra 1 KB e 3 MB. La capacità di inferenza deve scalare proporzionalmente alla domanda. Come dovrebbe l'azienda distribuire il modello?

La creazione di un endpoint di inferenza in tempo reale SageMaker con autoscaling è la soluzione più appropriata. SageMaker Real-Time Endpoints sono progettati per carichi di lavoro di inferenza con bassa latenza e alta disponibilità, gestendo automaticamente il provisioning e la scalabilità dell'infrastruttura sottostante. L'autoscaling integrato garantisce che la capacità si adatti dinamicamente ai picchi di richieste, soddisfacendo i requisiti di scalabilità e latenza. Le altre opzioni presentano delle limitazioni: Ospitare il modello su Amazon ECS richiederebbe una configurazione manuale più complessa per l'inferenza ML e lo scaling basato sulla CPU potrebbe non essere ottimale per carichi di lavoro di inferenza. L'installazione di SageMaker Operator su Amazon EKS aggiunge complessità operativa e l'autoscaling basato sull'utilizzo della memoria potrebbe non essere l'indicatore più efficace per la scalabilità dell'inferenza. L'utilizzo di Spot Instances con una Spot Fleet è adatto per carichi di lavoro tolleranti alle interruzioni, ma non garantisce la bassa latenza e l'alta disponibilità richieste per l'inferenza in tempo reale.