Je hebt weerdata nodig voor een model dat alleen de laatste 30 dagen gebruikt. Hoe moet je de BigQuery-tabel ontwerpen om onnodige dataopslag te voorkomen en kosten te minimaliseren?

De correcte optie is om de BigQuery-tabel te partitioneren op de datetime-waarde van de weerdatum en de partition expiration in te stellen op 30 dagen. Dit is de meest efficiënte en kosteneffectieve methode. BigQuery verwijdert automatisch partities die ouder zijn dan 30 dagen, waardoor onnodige opslag en bijbehorende kosten worden voorkomen zonder dat handmatige of geplande verwijderingsqueries nodig zijn. De andere opties zijn minder optimaal: Het handmatig verwijderen van rijen met een geplande query is inefficiënt en kan hoge kosten met zich meebrengen, omdat elke verwijdering een scan van de tabel vereist. Partitioneren op ingestion time is niet geschikt omdat het model de weerdatum zelf gebruikt, niet het moment van ingestie. Het verwijderen van rijen op basis van een datetime-kolom via een geplande query heeft dezelfde nadelen als de eerste optie: inefficiëntie en hogere kosten door scans.