Вам необходимо перенести 30-узловой кластер Hadoop в облако, повторно использовать существующие задания Hadoop, минимизировать управление кластером и сохранять данные после завершения работы кластера. Что вы должны сделать?

Правильный ответ — создать кластер Cloud Dataproc, который использует коннектор Google Cloud Storage. Dataproc — это управляемый сервис Hadoop и Spark, который позволяет повторно использовать существующие задания Hadoop, минимизируя при этом управление кластером. Использование коннектора Google Cloud Storage (GCS) для хранения данных гарантирует, что данные сохранятся после завершения работы кластера, поскольку GCS является независимым от кластера хранилищем. Остальные варианты не подходят: Создание задания Google Cloud Dataflow для обработки данных не позволяет повторно использовать существующие задания Hadoop напрямую, так как Dataflow имеет свой собственный программный интерфейс. Создание кластера Google Cloud Dataproc, который использует постоянные диски для HDFS, не обеспечивает сохранение данных после завершения работы кластера, поскольку данные на HDFS привязаны к жизненному циклу кластера. Создание кластера Hadoop на Google Compute Engine требует значительного ручного управления кластером. Создание кластера Hadoop на Google Compute Engine, который использует диски Local SSD, также требует ручного управления и не обеспечивает сохранение данных после завершения работы кластера, так как Local SSD являются временными.