Un trabajo Hadoop intensivo en E/S de disco se ejecuta mucho más lento en Dataproc usando Cloud Storage para intermedios que en HDFS bare-metal on-premise. ¿Cómo se soluciona esto separando el almacenamiento y el cómputo?

La opción correcta es aprovisionar más persistent disk y mantener los datos intermedios de ese trabajo en HDFS nativo. Esto se debe a que los trabajos intensivos en E/S de disco se benefician enormemente de la baja latencia y el alto rendimiento que ofrece el almacenamiento local (HDFS nativo en discos persistentes) en comparación con Cloud Storage para datos intermedios. Cloud Storage, aunque escalable, introduce latencia de red que ralentiza estos trabajos. Asignar más memoria no resuelve el problema de E/S de disco, ya que los intermedios pueden exceder la RAM disponible. Aumentar los núcleos de CPU no mejora directamente el rendimiento de E/S de disco, y el ancho de banda de red no es el factor limitante principal para la E/S de disco local. Agregar NIC adicionales y usar agregación de enlaces tampoco aborda la latencia inherente de Cloud Storage para operaciones de E/S de disco intensivas.