Je produceert 20.000 CSV-bestanden/uur (elk <4 KB) van on-prem naar GCP via een 50 Mbps-verbinding met 200 ms latentie met behulp van een SFTP VM. Het volume kan seizoensgebonden verdubbelen. Welke twee acties moet je ondernemen? (Kies er twee.)

De huidige SFTP VM en lage bandbreedte met hoge latentie zijn inefficiënt voor 20.000 kleine bestanden per uur. Het herontwerpen van de ingestie om gsutil te gebruiken voor parallelle uploads naar Cloud Storage is effectief omdat gsutil is geoptimaliseerd voor GCP en parallelle uploads de doorvoer aanzienlijk verbeteren, vooral bij veel kleine bestanden. Het bundelen van bestanden in TAR-archieven vermindert de overhead per bestand (zoals TCP-handshakes en SFTP-protocoloverhead), waardoor de effectieve overdrachtssnelheid toeneemt. Na overdracht kunnen ze in de cloud worden uitgepakt. Compressie per bestand is minder effectief voor zeer kleine bestanden, omdat de compressieoverhead de voordelen kan tenietdoen. Het verhogen van de bandbreedte is duur en lost de onderliggende inefficiëntie van de SFTP-aanpak niet op. Een S3-compatibel endpoint met Storage Transfer Service is een optie, maar gsutil is directer en vaak efficiënter voor on-premise naar Cloud Storage.