È necessario ospitare un modello di previsione personalizzato; il carico di lavoro è prevedibile e sostenuto durante la stessa finestra di 2 ore ogni giorno, con molte invocazioni che richiedono risposte rapide. L'azienda desidera che AWS gestisca l'infrastruttura e l'autoscaling. Quale opzione di hosting soddisfa questi requisiti?

L'opzione corretta è utilizzare Amazon SageMaker Serverless Inference con concorrenza provisioned. SageMaker Serverless Inference è ideale per carichi di lavoro prevedibili e sostenuti, poiché AWS gestisce l'infrastruttura e l'autoscaling. La concorrenza provisioned garantisce che il modello sia sempre pronto a rispondere rapidamente durante la finestra di 2 ore, eliminando i cold start e fornendo risposte a bassa latenza per le molte invocazioni richieste. Le altre opzioni non sono adatte: Amazon SageMaker batch transform è per inferenze asincrone su grandi set di dati, non per risposte rapide a singole invocazioni. Un gruppo EC2 Auto Scaling richiede la gestione delle istanze EC2 e dell'autoscaling da parte dell'utente, mentre l'azienda desidera che AWS gestisca l'infrastruttura. Eseguire il modello su un cluster Amazon EKS su EC2 offre un controllo maggiore ma aumenta la complessità di gestione dell'infrastruttura e dell'autoscaling rispetto a SageMaker Serverless.