Sie haben tägliche BigQuery-Tabellen namens LOGS_jjjjmmtt, und Wildcard-Abfragen über lange Zeiträume überschreiten das Limit von 1.000 Tabellen. Wie sollten Sie dies beheben?

Die Umwandlung der geshardeten täglichen Tabellen in eine einzige partitionierte Tabelle ist die empfohlene Lösung. BigQuery unterstützt das Sharding von Tabellen nach Datum (z.B. LOGSjjjjmmtt), aber für Abfragen über lange Zeiträume kann dies die Begrenzung von 1.000 Tabellen überschreiten. Durch die Konsolidierung in eine einzelne, nach Datum partitionierte Tabelle können Sie große Datenmengen effizient abfragen, ohne das Tabellenlimit zu erreichen. BigQuery optimiert Abfragen auf partitionierten Tabellen, indem es nur die relevanten Partitionen scannt. Das Konvertieren aller täglichen Protokolltabellen in datums-partitionierte Tabellen ist redundant, da das Ziel ist, die Anzahl der Tabellen zu reduzieren. Das Aktivieren des Abfrage-Caching hilft bei wiederholten Abfragen, löst aber nicht das zugrunde liegende Problem des Überschreitens des Tabellenlimits bei der Initialabfrage. Das Erstellen monatlicher Ansichten würde das Problem der 1.000 Tabellen nicht lösen, da die Abfrage immer noch auf die zugrunde liegenden geshardeten Tabellen zugreifen müsste.