マーケティング部門から、既存のBigQueryテーブルを更新するための100万行のCSVが提供されました。UPDATEを使用すると、quotaExceededエラーが発生します。更新を適用するにはどうすればよいですか？

100万行の更新はBigQueryのUPDATE DMLステートメントのクォータ制限に抵触する可能性が高いため、直接UPDATEを使用するのは非効率的です。最も効率的な方法は、CSVデータを新しいステージングテーブルにロードし、既存のテーブルとMERGEステートメントを使って結合し、その結果を新しいテーブルとして書き出すことです。これにより、DMLクォータの制限を回避し、大規模なデータ更新を効率的に行えます。 「1日あたりの更新行数を減らす」は、更新が完了するまでに時間がかかりすぎ、実用的ではありません。 「クォータ設定でBigQueryのUPDATE DML制限を引き上げる」は、クォータ引き上げが承認されるまでに時間がかかり、また常に可能とは限りません。 「CSVをCloud Storageのより小さなファイルに分割し、ジョブあたりのUPDATE DMLステートメントの数を減らす」は、DMLステートメントの数を減らすことはできますが、根本的な解決策にはならず、依然として多くのDML操作が必要になります。