Вы ожидаете значительного увеличения количества заданий Spark и Hadoop из локального центра обработки данных и хотите использовать масштабирование в облаке с минимальными эксплуатационными затратами и изменениями в коде. Какой продукт следует использовать?

Google Cloud Dataproc — это управляемый сервис для запуска кластеров Apache Spark и Hadoop. Он идеально подходит для миграции существующих рабочих нагрузок Spark и Hadoop из локальной среды в облако с минимальными изменениями в коде и операционными издержками, поскольку он полностью совместим с этими фреймворками и предлагает автоматическое масштабирование. Google Cloud Dataflow предназначен для потоковой и пакетной обработки данных с использованием Apache Beam, что требует переписывания кода. Google Compute Engine предоставляет нерегулируемые виртуальные машины, что увеличивает эксплуатационные расходы. Google Kubernetes Engine — это платформа для оркестрации контейнеров, которая не является специализированным решением для Spark/Hadoop и также потребует значительных усилий по настройке.