Un'azienda esegue un cluster Amazon EMR provisionato utilizzando istanze Amazon EC2 per uso generico. EMR managed scaling è configurato per variare il numero di nodi di attività da uno a cinque per un job ETL Apache Spark giornaliero a lunga esecuzione. Ogni esecuzione scala rapidamente il cluster a cinque nodi di attività; l'utilizzo della CPU raggiunge spesso il suo limite mentre la memoria rimane al di sotto del 30%. L'azienda desidera modificare la configurazione di EMR per ridurre il costo di esecuzione del job ETL giornaliero. Quale opzione soddisferà in modo più conveniente questo requisito?

Il problema descritto indica che l'utilizzo della CPU raggiunge il limite mentre la memoria rimane bassa. Questo suggerisce che il workload è CPU-bound. Cambiare il tipo di nodo di attività da istanze EC2 per uso generico a istanze EC2 ottimizzate per il calcolo (ad esempio, C-series) fornirà più CPU per core, consentendo al job Spark di elaborare i dati più velocemente con meno nodi, riducendo così i costi. Aumentare il numero massimo di nodi di attività a 10 aumenterebbe i costi senza affrontare l'inefficienza della CPU per nodo. Cambiare a istanze ottimizzate per la memoria (ad esempio, R-series) non risolverebbe il problema della CPU e potrebbe aumentare i costi inutilmente. Ridurre il periodo di cooldown dello scaling non migliorerebbe l'efficienza delle risorse per nodo, ma influenzerebbe solo la velocità con cui il cluster scala, che non è il problema principale qui.