U hebt een AVRO-bestand van 5 TB in Cloud Storage. Analisten kennen alleen SQL en hebben zo snel mogelijk kosteneffectief toegang nodig. Wat moet u doen?

Het maken van externe BigQuery-tabellen die verwijzen naar het AVRO-bestand in Cloud Storage is de meest kosteneffectieve en snelste oplossing. BigQuery kan direct query's uitvoeren op externe gegevensbronnen zoals Cloud Storage, zonder dat de gegevens eerst hoeven te worden geladen. Dit bespaart tijd en opslagkosten. Analisten kunnen hun vertrouwde SQL gebruiken. Het laden van gegevens in Cloud Datastore is ongeschikt, aangezien Datastore een NoSQL-database is en geen directe SQL-query's ondersteunt. Het laden van de gegevens in een BigQuery-tabel en deze vervolgens weer verwijderen is een optie, maar minder efficiënt dan externe tabellen omdat het een extra laadstap vereist en tijdelijke opslagkosten met zich meebrengt. Het opzetten van een Hadoop-cluster is te complex, tijdrovend en duur voor deze specifieke behoefte.