データ量が増加した後、HadoopでのバッチMapReduce分析の処理が遅れています。コストを上げずに応答性を改善するには、チームはどうすればよいですか？

Hadoop MapReduceはディスクI/Oがボトルネックになりやすく、データ量が増えると処理が遅くなります。Apache Sparkはインメモリ処理を基本とするため、MapReduceよりも高速なデータ処理が可能です。既存のHadoopクラスター上で動作し、コストを大幅に増やすことなく応答性を改善できます。PigはMapReduceの抽象化レイヤーであり、根本的なパフォーマンス改善にはつながりません。Hadoopクラスターのサイズを大きくするとコストが増加します。クラスターを小さくしてHiveで書き直しても、HiveもMapReduceベースであるため、パフォーマンスの改善は期待できません。