Je moet duizenden on-prem Apache Spark-taken migreren naar Google Cloud met behulp van managed services, minimale codewijzigingen en snel handelen. Wat is de migratieaanpak?

De meest geschikte aanpak is het verplaatsen van data naar Cloud Storage en het uitvoeren van taken op Dataproc. Dit komt omdat Dataproc een managed service is voor Apache Spark (en Hadoop), wat minimale codewijzigingen vereist voor bestaande Spark-taken en snelle migratie mogelijk maakt. Cloud Storage biedt schaalbare en kosteneffectieve opslag voor de data. Het verplaatsen van data naar BigQuery en het converteren naar SQL is een grote herschrijving en niet geschikt voor "minimale codewijzigingen". Het herschrijven naar Apache Beam voor Dataflow is ook een aanzienlijke herschrijving. Het kopiëren van data naar Compute Engine-disks en het handmatig beheren van taken is geen managed service en vereist veel operationele overhead, wat niet efficiënt is voor duizenden taken.