Hai un file AVRO da 5 TB in Cloud Storage. Gli analisti conoscono solo SQL e hanno bisogno di accedervi il prima possibile in modo conveniente. Cosa dovresti fare?

La creazione di tabelle esterne BigQuery che fanno riferimento direttamente al file AVRO in Cloud Storage è la soluzione più rapida ed efficiente. BigQuery può eseguire query direttamente sui dati in Cloud Storage senza la necessità di importare i dati, il che è fondamentale per l'accesso "il prima possibile" e per l'economicità, poiché si paga solo per le query eseguite e non per l'archiviazione duplicata. Caricare i dati in Cloud Datastore non è l'ideale perché Datastore è un database NoSQL e non supporta direttamente le query SQL nel modo desiderato dagli analisti. Caricare i dati in BigQuery e poi eliminarli è uno spreco di tempo e risorse, dato che le tabelle esterne offrono un accesso immediato. Creare un cluster Hadoop è un processo complesso e costoso che richiede molto tempo per la configurazione e la gestione, in contrasto con l'esigenza di un accesso rapido ed economico.