Еженедельное задание Dataproc Spark выполняется около 30 минут на кластере из 15 узлов и записывает результаты в BigQuery. Как оптимизировать стоимость кластера с учетом этого профиля?

Использование вытесняемых виртуальных машин (Preemptible VMs) для кластера Dataproc является наиболее эффективным способом снижения затрат в данном сценарии. Поскольку еженедельное задание выполняется всего 30 минут, его прерывание (с низкой вероятностью) и перезапуск не окажут существенного влияния на общую продолжительность выполнения, но значительно сократят расходы по сравнению с использованием стандартных виртуальных машин. Перенос рабочей нагрузки в Cloud Dataflow может быть вариантом, но не всегда оптимизирует стоимость, так как Dataflow имеет свою модель ценообразования, которая может быть дороже для коротких пакетных заданий. Использование узлов с большим объемом памяти или подключение SSD к рабочим узлам направлено на ускорение выполнения задания, а не на снижение стоимости. Ускорение выполнения может косвенно снизить затраты, но увеличение ресурсов само по себе является более дорогим решением, чем использование вытесняемых ВМ.