Команде Data Science необходимо перенести задания Hadoop без изменения самих заданий или инфраструктуры, минимизируя затраты и усилия на управление. Что вы развернете?

Dataproc — это управляемый сервис Hadoop и Spark, который позволяет переносить существующие задания Hadoop без изменений, минимизируя усилия по управлению. Использование вытесняемых рабочих экземпляров (preemptible workers) значительно снижает затраты, так как они дешевле стандартных экземпляров, что соответствует требованию минимизации затрат. Вытесняемые экземпляры подходят для пакетных заданий, которые могут быть перезапущены или устойчивы к прерываниям, что характерно для многих заданий Hadoop. Создание кластера Dataproc со стандартными рабочими экземплярами обеспечит стабильность, но будет дороже. Развертывание Hadoop вручную на Compute Engine (как со стандартными, так и с вытесняемыми экземплярами) потребует значительно больших усилий по управлению и настройке, что противоречит требованию минимизации усилий.