As análises Batch MapReduce no Hadoop estão atrasadas após um aumento no volume de dados. Como a equipe pode melhorar a capacidade de resposta sem aumentar os custos?

Reescrever o job em Apache Spark é a melhor opção porque o Spark é significativamente mais rápido que o MapReduce para muitas cargas de trabalho, especialmente aquelas que se beneficiam do processamento em memória e do grafo de execução otimizado. Isso melhora a capacidade de resposta sem aumentar os custos de infraestrutura. Reescrever o job em Pig pode simplificar o código, mas não oferece o mesmo ganho de desempenho que o Spark. Aumentar o tamanho do cluster Hadoop aumentaria os custos. Diminuir o tamanho do cluster e reescrever em Hive provavelmente resultaria em desempenho ainda pior, pois o Hive geralmente executa jobs MapReduce subjacentes.