Необходимо перенести локальный кластер Spark/Hive/HDFS с колеблющейся, пиковой нагрузкой в облако в течение 2 месяцев, сократить операционные расходы и обеспечить возможность последующей бессерверной модернизации. Какой подход к миграции обеспечивает баланс между скоростью и экономией средств?

Правильный ответ — перенести рабочие нагрузки в Dataproc, используя Cloud Storage вместо HDFS, и модернизировать позже. Dataproc обеспечивает быструю миграцию существующих рабочих нагрузок Spark/Hive с минимальными изменениями, что соответствует двухмесячному сроку. Замена HDFS на Cloud Storage значительно сокращает операционные расходы, поскольку Cloud Storage является управляемым, масштабируемым и экономически эффективным хранилищем, устраняя накладные расходы на управление HDFS. Это также закладывает основу для будущей бессерверной модернизации, так как Cloud Storage является де-факто хранилищем для многих бессерверных сервисов Google Cloud. Остальные варианты менее оптимальны: Сохранение HDFS в Dataproc не сокращает операционные расходы так эффективно и не способствует бессерверной модернизации. Модернизация Hive в BigQuery на первом этапе может быть слишком сложной для двухмесячного срока, особенно если требуется переписывание значительной логики. Немедленная модернизация Spark в Dataflow и Hive в BigQuery является наиболее трудоемким и дорогостоящим вариантом на начальном этапе, что противоречит цели быстрой и экономичной миграции.