Necesita migrar miles de trabajos de Apache Spark on-premise a Google Cloud utilizando servicios gestionados, minimizando los cambios en el código y moviéndose rápidamente. ¿Cuál es el enfoque de migración?

La opción correcta es mover los datos a Cloud Storage y ejecutar los trabajos en Dataproc porque Dataproc es un servicio de Apache Spark y Hadoop completamente gestionado en Google Cloud. Esto permite migrar miles de trabajos de Spark on-premise con cambios mínimos en el código, ya que Dataproc es compatible con las APIs de Spark. Cloud Storage ofrece un almacenamiento escalable y duradero para los datos. Las otras opciones son menos adecuadas: Mover datos a BigQuery y convertir scripts a SQL implicaría una reescritura sustancial del código, lo cual contradice el requisito de minimizar los cambios. Reescribir trabajos en Apache Beam para Dataflow también requiere una reescritura significativa del código, ya que Beam es un modelo de programación diferente a Spark. Copiar datos a discos de Compute Engine y gestionar trabajos directamente en instancias no es un enfoque gestionado y aumentaría la sobrecarga operativa, lo cual no cumple con el objetivo de moverse rápidamente y usar servicios gestionados.