Je hebt 20 TB aan CSV-tekstbestanden en meerdere gebruikers zullen geaggregeerde queries uitvoeren met verschillende engines; welke opslagdienst en welk schema minimaliseren de querykosten?

De correcte optie is om de CSV-bestanden op te slaan in Cloud Storage en deze beschikbaar te maken als permanente externe tabellen in BigQuery voor querying. Cloud Storage is een kosteneffectieve opslagoplossing voor grote hoeveelheden ongestructureerde data zoals CSV-bestanden. BigQuery kan direct query's uitvoeren op data in Cloud Storage via externe tabellen, wat betekent dat de data niet geïmporteerd hoeft te worden in BigQuery, waardoor opslagkosten binnen BigQuery worden vermeden. Permanente externe tabellen zijn efficiënter voor herhaalde query's dan tijdelijke tabellen, omdat het schema en de metadata behouden blijven. Cloud Bigtable is een NoSQL-database die geoptimaliseerd is voor hoge doorvoer en lage latentie voor grote operationele workloads, niet primair voor ad-hoc analytische query's op CSV-bestanden. Query's via de HBase shell op Compute Engine zouden complexer zijn en hogere operationele kosten met zich meebrengen dan BigQuery. Tijdelijke tabellen in BigQuery zouden onnodige overhead creëren bij elke query, omdat het schema telkens opnieuw gedefinieerd moet worden.