30 düğümlü bir Hadoop kümesini buluta taşımanız, mevcut Hadoop işlerini yeniden kullanmanız, küme yönetimini en aza indirmeniz ve verileri küme ömrünün ötesinde kalıcı hale getirmeniz gerekiyor. Ne yapmalısınız?

Google Cloud Storage bağlayıcısını kullanan bir Cloud Dataproc kümesi oluşturmak, belirtilen tüm gereksinimleri karşılar. Dataproc, mevcut Hadoop işlerini bulutta çalıştırmanıza olanak tanıyan yönetilen bir Hadoop ve Spark hizmetidir. Cloud Storage bağlayıcısı, verilerin küme ömrünün ötesinde kalıcı olmasını sağlar ve HDFS'ye göre daha dayanıklı ve ölçeklenebilir bir depolama çözümü sunar. Bu yaklaşım, küme yönetimini en aza indirir çünkü Dataproc birçok operasyonel görevi otomatikleştirir. Diğer seçenekler neden uygun değil: Google Cloud Dataflow işi oluşturmak, mevcut Hadoop işlerini doğrudan yeniden kullanmaya izin vermez; işlerin Dataflow'a özel olarak yeniden yazılması gerekir. HDFS için kalıcı diskler kullanan bir Google Cloud Dataproc kümesi oluşturmak, verilerin küme ömrünün ötesinde kalıcılığını sağlamaz, çünkü HDFS verileri küme ile birlikte silinebilir. Kalıcı diskler veya Local SSD diskleri kullanan Google Compute Engine üzerinde bir Hadoop kümesi oluşturmak, küme yönetim yükünü artırır çünkü bu tamamen yönetilmeyen bir çözümdür. Ayrıca Local SSD'ler geçicidir ve verilerin küme ömrünün ötesinde kalıcılığını sağlamaz.