Вам необходимо перенести тысячи локальных заданий Apache Spark в Google Cloud, используя управляемые сервисы, минимизировать изменения в коде и сделать это быстро. Каков подход к миграции?

Правильный ответ — переместить данные в Cloud Storage и запустить задания на Dataproc. Dataproc — это управляемый сервис Apache Spark и Hadoop в Google Cloud, который позволяет запускать существующие задания Spark практически без изменений кода. Cloud Storage является масштабируемым и экономичным хранилищем данных, идеально подходящим для данных, обрабатываемых Spark. Перенос данных в BigQuery и преобразование скриптов Spark в SQL-подход потребует значительных изменений кода и переработки логики. Переписывание заданий в Apache Beam для Dataflow также повлечет за собой существенные изменения кода. Копирование данных на диски Compute Engine и управление заданиями вручную не является управляемым подходом и не минимизирует операционные издержки.