Musisz przeprowadzić migrację 30-węzłowego klastra Hadoop do chmury, ponownie wykorzystać istniejące zadania Hadoop, zminimalizować zarządzanie klastrem i zachować dane po zakończeniu jego żywotności. Co należy zrobić?

Prawidłowa odpowiedź to utworzenie klastra Cloud Dataproc, który używa konektora Google Cloud Storage. Dataproc to zarządzana usługa Hadoop i Spark, która minimalizuje zarządzanie klastrem, spełniając wymóg. Użycie konektora Google Cloud Storage (GCS) pozwala na przechowywanie danych niezależnie od klastra, co zapewnia ich trwałość po zakończeniu jego żywotności. GCS jest również wysoce skalowalny i wydajny. Pozostałe opcje są mniej optymalne: Google Cloud Dataflow jest usługą do przetwarzania strumieniowego i wsadowego, ale wymagałoby przepisania istniejących zadań Hadoop, co jest sprzeczne z wymogiem ponownego wykorzystania. Klaster Google Cloud Dataproc używający dysków trwałego przechowywania dla HDFS lub klaster Hadoop w Google Compute Engine używający dysków trwałego przechowywania lub Local SSD, nie zapewnia trwałości danych po zakończeniu żywotności klastra w taki sam sposób jak GCS, ponieważ dane są związane z klastrem.