Die Marketingabteilung stellt eine CSV-Datei mit 1 Million Zeilen zur Verfügung, um eine bestehende BigQuery-Tabelle zu aktualisieren. Die Verwendung von UPDATE führt zu einem quotaExceeded-Fehler. Was sollten Sie tun, um die Aktualisierungen anzuwenden?

Die korrekte Antwort ist, die CSV-Datei in eine Staging-Tabelle zu laden und dann einen MERGE-Vorgang zu verwenden. BigQuery ist für Massenoperationen optimiert. Einzelne UPDATE-Anweisungen für 1 Million Zeilen sind ineffizient und können schnell an DML-Kontingentgrenzen stoßen, da jeder UPDATE als separate Transaktion zählt. Durch das Laden der CSV-Daten in eine temporäre Staging-Tabelle können Sie einen einzigen MERGE-Befehl ausführen. Dieser Befehl verarbeitet die Aktualisierungen, Einfügungen und Löschungen in einem einzigen, optimierten Batch-Vorgang, was die Kontingentgrenzen respektiert und die Leistung maximiert. Die Reduzierung der Zeilen pro Tag ist keine praktikable Lösung für eine einmalige Aktualisierung. Das Erhöhen des DML-Limits ist meist keine Option für UPDATE-Anweisungen, da es sich um ein hartes Limit handelt, das die Architektur von BigQuery widerspiegelt. Das Aufteilen der CSV-Datei in kleinere Dateien würde immer noch viele einzelne UPDATE-Anweisungen erfordern und das Problem nicht lösen.