Marketing levert een CSV-bestand met 1 miljoen rijen aan om een bestaande BigQuery-tabel bij te werken. Het gebruik van UPDATE resulteert in een quotaExceeded-fout. Wat moet u doen om de updates toe te passen?

De correcte aanpak is om het CSV-bestand in een staging-tabel te laden en vervolgens een MERGE statement te gebruiken. BigQuery's UPDATE DML-limieten zijn ontworpen om te voorkomen dat te veel kleine updates de prestaties van het onderliggende opslagsysteem beïnvloeden. Een MERGE operatie is geoptimaliseerd voor bulk-updates en is veel efficiënter voor grote datasets, omdat het de gegevens in één batch verwerkt. Het verminderen van het aantal rijen per dag is een tijdelijke workaround en schaalt niet voor grote datasets. Het verhogen van de DML-limiet is vaak niet mogelijk of wenselijk, omdat dit de stabiliteit van het systeem kan beïnvloeden. Het splitsen van het CSV-bestand in kleinere bestanden en het uitvoeren van meerdere UPDATE statements zal waarschijnlijk nog steeds leiden tot quota-fouten of inefficiënt zijn vanwege de overhead per statement.