Sie benötigen Wetterdaten für ein Modell, das nur die letzten 30 Tage verwendet. Wie sollten Sie die BigQuery-Tabelle gestalten, um das Speichern unnötiger Daten zu vermeiden und Kosten zu minimieren?

Die korrekte Antwort ist, eine BigQuery-Tabelle nach dem Wetterdatum zu partitionieren und die Partitionsablaufzeit auf 30 Tage einzustellen. Dies ist die effizienteste Methode, da BigQuery automatisch Partitionen löscht, die älter als 30 Tage sind, ohne dass manuelle Löschvorgänge oder geplante Abfragen erforderlich sind. Dies minimiert Speicherkosten und Verwaltungsaufwand. Die Option, Daten basierend auf dem Ingestion-Zeitstempel zu löschen, ist ineffizient, da sie geplante Abfragen und DELETE-Operationen erfordert, die teuer sein können und nicht die automatische Bereinigung von BigQuery nutzen. Das Partitionieren nach Ingestion-Zeit mit Partitionsablaufzeit wäre zwar technisch möglich, aber weniger präzise, wenn die Daten nicht sofort nach Erstellung ingestiert werden. Das Löschen von Zeilen mittels einer geplanten Abfrage basierend auf einer Datetime-Spalte ist ebenfalls ineffizient und kostspielig, da es teure DELETE-Operationen auf große Datenmengen erfordert.