Firma przesyła pliki CSV do zasobnika Amazon S3. Crawler AWS Glue tworzy tabele i schematy dla danych, a zadanie AWS Glue przetwarza tabele i zapisuje wyniki do bazy danych Amazon Redshift. Zadanie Glue obsługuje mapowanie kolumn i tworzy tabele Redshift w razie potrzeby. Ponowne uruchomienie zadania Glue powoduje pojawienie się zduplikowanych wierszy w tabelach Redshift. Firma potrzebuje sposobu na aktualizację tabel Redshift bez wprowadzania duplikatów. Które podejście spełnia ten wymóg?

Poprawna odpowiedź to modyfikacja zadania AWS Glue, aby kopiowało wiersze do przejściowej tabeli Redshift, a następnie użycie poleceń SQL do aktualizacji istniejących wierszy nowymi wartościami z tej tabeli. Jest to standardowa i efektywna metoda obsługi operacji upsert (aktualizacja lub wstawienie) w Amazon Redshift. Pozwala to na uniknięcie duplikatów poprzez aktualizację rekordów, które już istnieją, i wstawianie tylko nowych. Pozostałe opcje są nieprawidłowe: Ładowanie danych do bazy danych MySQL, wykonanie operacji upsert, a następnie kopiowanie do Redshift wprowadza niepotrzebne kroki i złożoność, co jest mniej efektywne niż bezpośrednia praca z Redshift. Użycie dropDuplicates() w Apache Spark usunie duplikaty z bieżącego zestawu danych, ale nie rozwiąże problemu aktualizacji istniejących rekordów w Redshift, co nadal może prowadzić do duplikatów, jeśli dane są ponownie wstawiane bez odpowiedniej logiki aktualizacji. Transformacja ResolveChoice w AWS Glue służy do rozwiązywania problemów ze schematami danych o zmiennych typach, a nie do eliminowania duplikatów czy wykonywania operacji upsert.