Les analyses Batch MapReduce sur Hadoop prennent du retard après une augmentation du volume de données. Comment l'équipe peut-elle améliorer la réactivité sans augmenter les coûts ?

Réécrire le job en Apache Spark est la meilleure solution car Spark est conçu pour des performances supérieures à MapReduce, notamment grâce à son traitement en mémoire et son graphe d'exécution optimisé (DAG). Cela permet de traiter de plus grands volumes de données plus rapidement sans nécessiter une augmentation des ressources matérielles, ce qui répond à l'exigence de ne pas augmenter les coûts. Réécrire le job en Pig n'apporterait pas d'amélioration significative des performances car Pig Latin est une abstraction de MapReduce, et non un moteur d'exécution plus rapide. Augmenter la taille du cluster Hadoop augmenterait les coûts, ce qui est contraire à l'exigence. Diminuer la taille du cluster Hadoop tout en réécrivant en Hive ne résoudrait pas le problème de performance et pourrait même l'aggraver, car Hive est également basé sur MapReduce par défaut et une réduction des ressources matérielles ralentirait le traitement.