Tiene algunos archivos muy grandes (90 GB) para cargar en Google Cloud y proporcionará ancho de banda para la transferencia inicial. Los sistemas transaccionales deben seguir actualizando el almacén en tiempo real. ¿Qué herramientas utiliza para la migración masiva y las escrituras continuas?

gsutil es una herramienta de línea de comandos eficiente para transferir grandes volúmenes de datos a Cloud Storage, ideal para la migración inicial de 90 GB. Para las actualizaciones transaccionales en tiempo real, Pub/Sub es un servicio de mensajería asíncrona que puede ingerir los cambios de datos. Dataflow, un servicio de procesamiento de datos gestionado, es adecuado para procesar estos flujos de datos en tiempo real y aplicarlos al almacén. Storage Transfer Service es más para transferencias programadas o de un solo uso entre ubicaciones de almacenamiento, no para actualizaciones continuas. BigQuery Data Transfer Service es específico para BigQuery y no para una migración general de archivos. Usar gsutil para actualizaciones continuas en tiempo real no es práctico ni escalable para sistemas transaccionales.