Devi migrare migliaia di job Apache Spark on-premise a Google Cloud utilizzando servizi gestiti, minimizzare le modifiche al codice e procedere rapidamente. Qual è l'approccio di migrazione?

L'opzione corretta è "Sposta i tuoi dati in Cloud Storage. Esegui i tuoi job su Dataproc." Questo perché Dataproc è un servizio gestito per Apache Spark, Hadoop e altri framework open source, che consente di eseguire i job Spark esistenti con modifiche minime al codice. Spostare i dati su Cloud Storage fornisce una soluzione di archiviazione scalabile e duratura, accessibile da Dataproc. Le altre opzioni sono meno ideali: Spostare i dati in BigQuery e convertire gli script Spark in SQL richiederebbe una riscrittura significativa del codice, violando il requisito di minimizzare le modifiche. Riscrivere i job in Apache Beam per Dataflow implicherebbe una riscrittura completa, non minimizzando le modifiche al codice. Copiare i dati sui dischi di Compute Engine e gestire i job direttamente sulle istanze non è un approccio gestito e aumenterebbe l'overhead operativo.