Potrzebujesz danych pogodowych dla modelu, który wykorzystuje tylko dane z ostatnich 30 dni. Aby uniknąć przechowywania niepotrzebnych danych i zminimalizować koszty, jak należy zaprojektować tabelę BigQuery?

Poprawna odpowiedź to partycjonowanie tabeli BigQuery według kolumny datetime zawierającej datę pogodową i ustawienie wygaśnięcia partycji na 30 dni. BigQuery automatycznie usuwa partycje po upływie określonego czasu, co jest efektywnym i ekonomicznym sposobem zarządzania danymi. Pozostałe opcje są mniej optymalne: Użycie znacznika czasu przyjęcia (ingestion timestamp) do partycjonowania i usuwania danych nie jest idealne, ponieważ dane pogodowe mogą być przyjmowane z opóźnieniem, a model potrzebuje danych z ostatnich 30 dni od ich faktycznej daty, nie daty przyjęcia. Ręczne uruchamianie zaplanowanych zapytań do usuwania wierszy jest mniej wydajne i droższe niż automatyczne wygaszanie partycji, ponieważ każde zapytanie zużywa zasoby i generuje koszty.