Migrez Hadoop sur site vers une solution cloud gérée, tolérante aux pannes et rentable pour les tâches par lots de longue durée. Que devriez-vous déployer ?

La bonne réponse est de créer un cluster Dataproc avec des disques persistants standards et 50 % de workers préemptibles, de stocker les données dans Cloud Storage et de mettre à jour les scripts de hdfs:// vers gs://. Dataproc est le service géré de Google Cloud pour Hadoop/Spark, offrant tolérance aux pannes et rentabilité. L'utilisation de disques persistants standards est suffisante pour les tâches par lots, et les workers préemptibles réduisent les coûts pour les charges de travail tolérantes aux pannes. Cloud Storage est le stockage d'objets évolutif et durable recommandé, et la mise à jour des scripts est nécessaire pour l'intégration. Les disques persistants SSD (option 2) sont plus chers et ne sont généralement pas nécessaires pour les tâches par lots de longue durée où les performances d'E/S ne sont pas le facteur limitant principal. L'installation manuelle de Hadoop/Spark sur Compute Engine (options 3 et 4) n'est pas une solution gérée et n'offre pas la même facilité de gestion ni la même tolérance aux pannes que Dataproc. De plus, stocker les données dans HDFS (option 4) sur des instances Compute Engine préemptibles n'est pas durable, car les données seraient perdues si les instances étaient préemptées.