Batch MapReduce-analyses op Hadoop lopen achter na een toename van het datavolume. Hoe kan het team de responsiviteit verbeteren zonder de kosten te verhogen?

Het herschrijven van de job in Apache Spark is de beste optie omdat Spark in-memory verwerking biedt, wat aanzienlijk sneller is dan de disk-gebaseerde verwerking van traditionele Hadoop MapReduce. Dit verbetert de responsiviteit zonder extra infrastructuurkosten. Pig is een abstractielaag bovenop MapReduce en biedt geen inherente prestatieverbeteringen die de doorlooptijd drastisch zouden verkorten bij toenemend datavolume. Het vergroten van de omvang van het Hadoop-cluster zou de prestaties verbeteren, maar verhoogt ook de kosten, wat indruist tegen de vraag. Het verkleinen van het cluster in combinatie met Hive zou de prestaties waarschijnlijk verslechteren of op zijn best niet significant verbeteren, aangezien Hive ook op MapReduce kan draaien en geen fundamentele architectonische verbetering biedt voor snelheid vergeleken met Spark.