Un'azienda deve implementare un modello di classificazione addestrato su misura su AWS per fornire previsioni quasi in tempo reale, a bassa latenza e per gestire volumi di richieste variabili. Quale opzione di implementazione soddisfa questi requisiti?

L'implementazione del modello come endpoint in tempo reale di Amazon SageMaker con auto scaling è la soluzione ottimale. Gli endpoint in tempo reale di SageMaker sono progettati specificamente per inferenze a bassa latenza e quasi in tempo reale, ideali per le previsioni immediate. L'auto scaling gestisce automaticamente i volumi di richieste variabili, garantendo disponibilità e prestazioni senza intervento manuale. Le altre opzioni non soddisfano tutti i requisiti: La trasformazione batch di SageMaker è per inferenze asincrone su grandi set di dati, non per previsioni quasi in tempo reale. Ospitare file in S3 con API Gateway richiederebbe una logica di inferenza complessa e personalizzata, non offrendo la gestione automatica e l'ottimizzazione di SageMaker per i modelli ML. Le istanze EC2 con AMI Deep Learning dietro un Application Load Balancer richiederebbero una gestione manuale significativa dell'infrastruttura, del deployment del modello e dell'auto scaling, a differenza della soluzione gestita di SageMaker.