Перенос локального кластера Hadoop в Dataproc потребует 50 ТБ Persistent Disk на узел, и директор по информационным технологиям обеспокоен стоимостью блочного хранилища. Как минимизировать затраты на хранение данных при миграции?

Помещение данных в Google Cloud Storage (GCS) является наиболее экономичным решением, поскольку GCS предлагает масштабируемое и недорогое объектное хранилище, отделенное от вычислительных ресурсов Dataproc. Это позволяет использовать меньшие Persistent Disks для временных данных и кэширования, значительно снижая общую стоимость хранения. Использование вытесняемых ВМ снизит стоимость вычислений, но не хранения. Настройка дискового пространства "ровно столько, сколько необходимо" не решает проблему высокой стоимости 50 ТБ Persistent Disk на узел. Перенос только холодных данных в GCS не обеспечивает максимальной экономии, так как горячие данные все равно будут занимать дорогостоящие Persistent Disks.