Je hebt dagelijkse BigQuery-tabellen genaamd LOGS_jjjjmmdd en wildcard-queries over lange perioden overschrijden de limiet van 1.000 tabellen. Hoe los je dit op?

De correcte oplossing is het converteren van de sharded dagelijkse tabellen naar één gepartitioneerde tabel. BigQuery heeft een limiet van 1.000 tabellen voor wildcard-queries, wat wordt overschreden bij dagelijkse tabellen over een lange periode. Door de gegevens in één gepartitioneerde tabel te consolideren, wordt de limiet van 1.000 tabellen omzeild en kunnen queries efficiënt worden uitgevoerd over de gewenste datumbereiken door gebruik te maken van de partitiesleutel. Het converteren naar datum-gepartitioneerde tabellen (meervoud) lost het probleem niet op, omdat dit nog steeds meerdere tabellen creëert die de limiet kunnen overschrijden. Query caching is niet effectief voor nieuwe queries over dynamische datumbereiken. Maandelijkse views zijn geen structurele oplossing; ze verbergen het onderliggende probleem van het grote aantal tabellen niet en kunnen nog steeds de wildcard-limiet tegenkomen als de views zelf gebaseerd zijn op te veel sharded tabellen.