У вас есть локальные задания Spark, ежедневно обрабатывающие Parquet. При миграции в Google Cloud вам нужны управляемые сервисы, минимальные изменения ETL и доступность BigQuery для будущих конвейеров. Что вам следует сделать?

Правильный вариант предлагает оптимальное решение. Перенос данных в Cloud Storage обеспечивает масштабируемое и экономичное хранилище для файлов Parquet. Dataproc Metastore (DPMS) предоставляет управляемый каталог метаданных, совместимый с Hive Metastore, что минимизирует изменения в существующих заданиях Spark. Dataproc Serverless позволяет запускать задания Spark без управления кластерами, что соответствует требованию управляемых сервисов и снижает операционные издержки. Переработка заданий для чтения/записи в Cloud Storage — это минимальное изменение, необходимое для облачной среды. Другие варианты менее подходят: Использование Dataplex для регистрации бакета не заменяет необходимость в Metastore для Spark-заданий, если они ожидают каталог Hive. Перенос данных непосредственно в BigQuery потребует значительной переработки заданий Spark, что противоречит требованию минимальных изменений ETL. BigLake — это не хранилище, а механизм доступа к данным. Dataproc on Compute Engine требует управления кластерами, что не соответствует требованию управляемых сервисов.