La migration d'un cluster Hadoop sur site vers Dataproc nécessiterait 50 To de Persistent Disk par nœud et le DSI s'inquiète du coût du stockage par blocs. Comment minimiser le coût du stockage pour la migration ?

Placer les données dans Google Cloud Storage est la solution la plus rentable car Cloud Storage est un service de stockage d'objets hautement évolutif et durable, avec des coûts bien inférieurs à ceux du Persistent Disk pour de grands volumes de données. Dataproc peut accéder directement aux données stockées dans Cloud Storage, éliminant ainsi le besoin de stocker toutes les données sur les Persistent Disks des nœuds, ce qui réduit considérablement les coûts. Utiliser des VM préemptibles réduit le coût de calcul, pas celui du stockage. Ajuster le disque pour qu'il soit juste suffisant ne résout pas le problème du coût élevé du Persistent Disk pour 50 To par nœud. Migrer une partie des données froides est une bonne pratique, mais placer toutes les données dans Cloud Storage est une solution plus complète et plus économique pour ce scénario.