Le analisi Batch MapReduce su Hadoop sono in ritardo dopo un aumento del volume dei dati. Come può il team migliorare la reattività senza aumentare i costi?

Riscrivere il job in Apache Spark è la soluzione migliore perché Spark è un framework di elaborazione dati in-memory, significativamente più veloce di MapReduce per molte tipologie di carichi di lavoro, specialmente quelli iterativi o che richiedono l'accesso ripetuto agli stessi dati. Questo migliorerebbe la reattività senza un aumento diretto dei costi hardware, poiché Spark può spesso eseguire lo stesso lavoro con meno risorse o in meno tempo rispetto a MapReduce. Aumentare la dimensione del cluster Hadoop aumenterebbe i costi. Riscrivere il job in Pig non garantirebbe un miglioramento significativo delle prestazioni, poiché Pig Latin si traduce comunque in job MapReduce. Diminuire la dimensione del cluster Hadoop e riscrivere il job in Hive peggiorerebbe ulteriormente le prestazioni e non risolverebbe il problema di reattività.