Je moet een paar zeer grote bestanden (90 GB) naar Google Cloud laden en je zorgt voor bandbreedte voor de initiële overdracht. Transactionele systemen moeten de datawarehouse in realtime blijven bijwerken. Welke tools gebruik je voor bulk migratie en doorlopende schrijfbewerkingen?

gsutil is de meest geschikte tool voor de initiële bulkoverdracht van grote bestanden (90 GB) naar Google Cloud Storage, omdat het geoptimaliseerd is voor hoge-doorvoeroverdrachten en robuuste functionaliteit biedt zoals hervatbare uploads. Pub/Sub is ideaal voor het opnemen van realtime transactionele updates als een messaging-service met hoge doorvoer. Dataflow is uitstekend geschikt voor het verwerken van deze realtime streams van Pub/Sub, transformeren en laden in een datawarehouse, dankzij zijn vermogen om schaalbare, serverloze streamverwerking uit te voeren. Storage Transfer Service is meer gericht op het overdragen van gegevens tussen clouds of van on-premise naar Cloud Storage, niet primair voor lokale bestandsoverdrachten. BigQuery Data Transfer Service is voor het automatiseren van gegevensoverdrachten naar BigQuery vanuit andere Google-services of SaaS-applicaties, niet voor algemene bulkbestandsoverdracht. Dataproc is een beheerde Hadoop/Spark-service, die wel streamverwerking kan doen, maar Dataflow is vaak efficiënter en kosteneffectiever voor pure streaming ETL. gsutil alleen is niet geschikt voor continue realtime updates.