Un modello distribuito basato su un algoritmo genetico può impiegare diversi minuti per produrre una previsione e deve elaborare richieste che includono fino a 100 MB di dati. Quale opzione di distribuzione riduce al minimo l'overhead operativo soddisfacendo al contempo questi requisiti?

L'inferenza asincrona di Amazon SageMaker è la soluzione migliore perché è progettata per carichi di lavoro con payload di grandi dimensioni (fino a 1 GB) e tempi di elaborazione lunghi (fino a 1 ora), che corrispondono ai requisiti del modello genetico. Riduce al minimo l'overhead operativo gestendo automaticamente la scalabilità e la gestione delle code. Le istanze Amazon EC2 con Auto Scaling e Application Load Balancer richiederebbero una configurazione manuale significativa per gestire la coda e la scalabilità per tempi di elaborazione lunghi e payload di grandi dimensioni, aumentando l'overhead operativo. Gli endpoint in tempo reale di SageMaker sono ottimizzati per inferenze a bassa latenza e payload di piccole dimensioni, non adatti a questo caso d'uso. L'implementazione su Amazon ECS su istanze EC2 offre flessibilità ma richiede anche una gestione manuale più elevata per la coda e la scalabilità rispetto all'inferenza asincrona di SageMaker.