U ontvangt elke 30 minuten gemiddelde prijzen voor 100 veelvoorkomende goederen en u moet deze up-to-date houden in BigQuery voor goedkope joins. Welke aanpak is het beste?

De correcte aanpak is om de gegevens op te slaan en te updaten in een regionale Cloud Storage-bucket en een gefedereerde BigQuery externe tabel te maken. Dit is de meest kosteneffectieve en efficiënte oplossing voor het bijhouden van relatief kleine, frequent bijgewerkte referentiegegevens. BigQuery externe tabellen maken het mogelijk om direct query's uit te voeren op gegevens in Cloud Storage zonder deze te importeren, wat de kosten en complexiteit van het laden van gegevens elimineert. De gegevens blijven up-to-date in Cloud Storage en zijn direct beschikbaar voor joins in BigQuery. Het laden van gegevens elke 30 minuten in een nieuwe gepartitioneerde tabel in BigQuery zou onnodige opslagkosten en beheeroverhead veroorzaken. Cloud Datastore is een NoSQL-database en is niet geoptimaliseerd voor analytische joins met BigQuery; het gebruik van Dataflow hiervoor zou complex en duur zijn. Het opslaan van gegevens in een bestand in Cloud Storage en het gebruiken van Dataflow om deze programmatisch te combineren met BigQuery is ook onnodig complex en duur, aangezien een externe tabel een directere en goedkopere oplossing biedt.