Je hebt drie jaar aan historische data in BigQuery en een dagelijkse ingest. Queries die gefilterd zijn op de laatste 30-90 dagen scannen nog steeds de hele tabel, wat de kosten verhoogt. Wat is de meest kosteneffectieve oplossing, terwijl SQL-toegang behouden blijft?

De meest kosteneffectieve oplossing is het opnieuw aanmaken van de tabellen met DDL en deze te partitioneren op een TIMESTAMP of DATE kolom. BigQuery ondersteunt partitionering op basis van tijd, wat query's die filteren op datumbereiken (zoals de laatste 30-90 dagen) in staat stelt om alleen de relevante partities te scannen, waardoor de gescande data en dus de kosten aanzienlijk worden verminderd. SQL-toegang blijft volledig behouden. Het exporteren naar CSV en gebruiken van Cloud Datalab is geen kosteneffectieve oplossing voor interactieve analyse en behoudt geen directe SQL-toegang tot BigQuery. Het aanpassen van de pipeline om data in twee tabellen te bewaren, introduceert complexiteit en vereist het aanpassen van query's om beide tabellen te bevragen. Het dagelijks aanmaken van nieuwe BigQuery-tabellen met Apache Beam en het gebruik van wildcards is minder efficiënt dan partitionering, omdat het meer overhead creëert voor tabellenbeheer en query'optimalisatie.