Un projet dispose d'une réservation BigQuery de 2000 slots. Des centaines de nouveaux pipelines non sensibles au temps provoquent des erreurs de quota, avec environ 1500 requêtes déclenchées simultanément au pic. Comment résoudre les problèmes de concurrence de manière rentable ?

La bonne réponse est d'exécuter les pipelines SQL non sensibles au temps en tant que requêtes par lots et les requêtes ad-hoc en tant que tâches interactives. Les requêtes par lots sont planifiées en fonction de la capacité de slots disponible dans la file d'attente et ne consomment pas de slots réservés immédiatement, ce qui est idéal pour les charges de travail non sensibles au temps et permet d'éviter les erreurs de quota. Les requêtes interactives (ad-hoc) s'exécutent immédiatement en utilisant les slots disponibles. Augmenter la capacité de slots du projet (options 1 et 3) serait coûteux et pourrait ne pas résoudre le problème de concurrence si toutes les requêtes sont interactives et tentent de s'exécuter simultanément. Modifier tous les pipelines et requêtes pour qu'ils soient interactifs (option 4) aggraverait le problème de concurrence et les erreurs de quota, car toutes les requêtes rivaliseraient pour les mêmes slots immédiatement.