Dział marketingu dostarcza plik CSV zawierający milion wierszy w celu aktualizacji istniejącej tabeli BigQuery. Użycie UPDATE powoduje błąd quotaExceeded. Co należy zrobić, aby zastosować aktualizacje?

Poprawna odpowiedź to załadowanie pliku CSV do tabeli stagingowej, a następnie użycie operacji MERGE z istniejącą tabelą i zapisanie wyników do nowej tabeli. BigQuery ma limity na liczbę operacji UPDATE DML, zwłaszcza dla dużych zbiorów danych. Bezpośrednie aktualizowanie miliona wierszy może przekroczyć te limity. Strategia MERGE jest znacznie bardziej wydajna dla dużych aktualizacji, ponieważ działa na zasadzie tworzenia nowej wersji tabeli, co jest zgodne z architekturą BigQuery zorientowaną na dane niemutowalne. Zmniejszanie liczby aktualizowanych wierszy dziennie jest niepraktyczne. Podniesienie limitu DML jest często niemożliwe lub niezalecane dla tak dużych operacji. Dzielenie pliku CSV na mniejsze części nadal prowadziłoby do wielu operacji UPDATE, co jest mniej efektywne niż MERGE.