Ricevi i prezzi medi di 100 beni comuni ogni 30 minuti e hai bisogno che siano aggiornati in BigQuery per join economici. Qual è l'approccio migliore?

L'approccio migliore è archiviare e aggiornare i dati in un bucket Cloud Storage regionale e creare una tabella esterna federata BigQuery. Questo metodo è efficiente perché BigQuery può interrogare direttamente i dati in Cloud Storage senza doverli caricare fisicamente, riducendo i costi di archiviazione e semplificando la gestione degli aggiornamenti. La tabella esterna federata garantisce che BigQuery abbia sempre accesso ai dati più recenti non appena vengono aggiornati in Cloud Storage. Caricare i dati ogni 30 minuti in una nuova tabella partizionata in BigQuery genererebbe un gran numero di tabelle e aumenterebbe i costi di archiviazione e gestione. Archiviare i dati in Cloud Datastore e utilizzare Cloud Dataflow per unirli a BigQuery è eccessivamente complesso e costoso per un semplice aggiornamento di prezzi. Similmente, archiviare i dati in un file in Cloud Storage e utilizzare Cloud Dataflow per combinarli con BigQuery è un'opzione più complessa e costosa rispetto all'uso di una tabella federata, che offre un accesso diretto e semplificato.