Vous avez quelques fichiers très volumineux (90 Go) à charger sur Google Cloud et vous fournirez la bande passante pour le transfert initial. Les systèmes transactionnels doivent continuer à mettre à jour l'entrepôt en temps réel. Quels outils utilisez-vous pour la migration en masse et les écritures continues ?

L'option correcte utilise gsutil pour la migration initiale des fichiers volumineux. gsutil est un outil en ligne de commande puissant et flexible, idéal pour transférer de grandes quantités de données vers Cloud Storage, surtout lorsque la bande passante est fournie. Pour les mises à jour transactionnelles continues et en temps réel, Pub/Sub est le service de messagerie asynchrone qui ingère les événements, et Dataflow est un service entièrement géré pour le traitement de données par lots et en flux continu, parfait pour transformer et charger ces mises à jour dans l'entrepôt de données. Les autres options sont moins adaptées : Storage Transfer Service est plus orienté vers les transferts de données entre différents fournisseurs de cloud ou depuis des sources sur site avec des agents de transfert, mais gsutil est plus direct pour un transfert initial simple avec bande passante fournie. BigQuery Data Transfer Service est conçu pour automatiser les transferts de données depuis des applications SaaS ou d'autres services Google, pas pour la migration de fichiers bruts. Utiliser gsutil pour les mises à jour en temps réel n'est pas une solution appropriée car il est conçu pour des opérations de fichiers, pas pour un pipeline de streaming continu.