La migración de un clúster Hadoop on-prem a Dataproc requeriría 50 TB de Persistent Disk por nodo y al CIO le preocupa el costo del almacenamiento en bloques. ¿Cómo se minimiza el costo de almacenamiento para la migración?

La opción correcta es poner los datos en Google Cloud Storage. Dataproc desacopla el almacenamiento del cómputo, lo que permite almacenar grandes volúmenes de datos de forma económica en Google Cloud Storage (GCS). GCS ofrece un almacenamiento de objetos escalable y de bajo costo, ideal para datos de Hadoop, y elimina la necesidad de grandes discos persistentes en cada nodo de Dataproc. Usar VMs preemptivas reduciría el costo de cómputo, no el de almacenamiento. Ajustar el clúster para tener suficiente disco para todos los datos no minimiza el costo; al contrario, lo aumentaría si se usa Persistent Disk para 50 TB por nodo. Migrar solo datos fríos a GCS es una mejora, pero la solución más completa y rentable para grandes volúmenes es mover todos los datos a GCS, aprovechando la arquitectura de Dataproc.