Le service marketing fournit un fichier CSV de 1 million de lignes pour mettre à jour une table BigQuery existante. L'utilisation de la commande UPDATE génère une erreur quotaExceeded. Que devez-vous faire pour appliquer les mises à jour ?

L'erreur quotaExceeded lors de l'utilisation de UPDATE sur 1 million de lignes indique que vous dépassez les limites de requêtes DML de BigQuery pour les mises à jour. La stratégie la plus efficace est de charger le fichier CSV dans une table de staging BigQuery. Ensuite, utilisez une instruction MERGE pour combiner les données de cette table de staging avec la table existante, en écrivant les résultats dans une nouvelle table. Cette approche est optimisée pour les mises à jour en masse et contourne les limites DML par requête, car MERGE est une opération plus efficace pour les grands volumes. Réduire le nombre de lignes par jour n'est pas une solution pratique pour un fichier unique de cette taille. Augmenter la limite de quota n'est pas toujours possible ou suffisant. Diviser le fichier CSV en plus petits fichiers pour des UPDATE individuels générerait toujours de nombreuses requêtes DML, ce qui pourrait toujours déclencher des quotas ou être inefficace.