Sie haben drei Jahre historische Daten in BigQuery und eine tägliche Aufnahme. Abfragen, die auf die letzten 30–90 Tage gefiltert sind, durchsuchen immer noch die gesamte Tabelle, was die Kosten erhöht. Was ist die kostengünstigste Lösung, während der SQL-Zugriff erhalten bleibt?

Die Neuanlage der Tabellen mit DDL und die Partitionierung nach einer TIMESTAMP- oder DATE-Spalte ist die kostengünstigste Lösung, da BigQuery durch Partitionspruning nur die relevanten Partitionen scannt, wenn Abfragen nach dem Partitionsfeld gefiltert werden. Dies reduziert die gescannten Datenmengen erheblich und senkt somit die Kosten. Der SQL-Zugriff bleibt dabei vollständig erhalten. Das Exportieren nach Cloud Storage und die Nutzung von Cloud Datalab ist umständlich, verlagert die Daten und erfordert neue Tools, was den SQL-Zugriff nicht direkt unterstützt. Das Aufteilen der Daten in zwei separate Tabellen (30–90 Tage und ältere Historie) ist eine manuelle und wartungsintensive Lösung, die immer noch zu Scans der gesamten "älteren Historie"-Tabelle führen kann. Eine tägliche Apache Beam-Pipeline, die neue Tabellen erstellt, erzeugt viele kleine Tabellen, was die Verwaltung erschwert und Wildcard-Abfragen komplexer macht, ohne die Effizienz des Partitionsprunings zu erreichen.