Выполняется миграция локального Hadoop в управляемое, отказоустойчивое и экономичное облачное решение для длительных пакетных заданий. Что следует развернуть?

Правильный ответ — создание кластера Dataproc со стандартными постоянными дисками и 50% вытесняемых рабочих узлов, хранение данных в Cloud Storage и обновление скриптов с hdfs:// на gs://. Dataproc — это управляемый сервис Hadoop/Spark, который обеспечивает отказоустойчивость и экономичность. Использование вытесняемых рабочих узлов значительно снижает стоимость для длительных пакетных заданий, а стандартные постоянные диски достаточны для большинства таких задач. Хранение данных в Cloud Storage отделяет хранилище от вычислений, повышая гибкость и снижая затраты. Обновление скриптов для использования gs:// позволяет Dataproc напрямую работать с данными в Cloud Storage. Вариант с SSD дисками (второй ответ) является избыточным и более дорогим для длительных пакетных заданий, где скорость дискового ввода-вывода часто не является узким местом. Установка Hadoop/Spark на Compute Engine (третий и четвертый ответы) требует большего управления и не обеспечивает преимуществ управляемого сервиса Dataproc, таких как автоматическое масштабирование и отказоустойчивость. Использование HDFS (четвертый ответ) не соответствует облачной парадигме разделения вычислений и хранения, а также не обеспечивает экономичности Cloud Storage.