Deweloper debuguje zadanie AWS Glue, które odczytuje dane z S3 i zapisuje je do Amazon Redshift. Zakładki (bookmarks) są włączone, a maksymalna współbieżność ustawiona jest na 1. Zadanie pomyślnie zapisuje dane do Redshift, ale kolejne uruchomienia ponownie przetwarzają pliki, które zostały już załadowane we wcześniejszych uruchomieniach. Jaka jest najbardziej prawdopodobna przyczyna?

Poprawna odpowiedź to: Zadanie AWS Glue nie zawiera wymaganej instrukcji commit. Zakładki AWS Glue (Glue bookmarks) śledzą przetworzone dane, aby zapobiec ponownemu przetwarzaniu. Aby zakładki działały prawidłowo, zadanie Glue musi jawnie zatwierdzić swój stan po pomyślnym zakończeniu przetwarzania. Brak instrukcji commit (np. job.commit()) w kodzie zadania sprawia, że zakładki nie aktualizują swojego stanu, co prowadzi do ponownego przetwarzania tych samych plików w kolejnych uruchomieniach. Pozostałe opcje są nieprawidłowe: Uprawnienie s3:GetObjectAcl nie jest bezpośrednio wymagane do działania zakładek; zakładki opierają się na metadanych obiektów S3. Maksymalna współbieżność ustawiona na 1 nie wpływa na działanie zakładek; kontroluje jedynie liczbę równoległych uruchomień zadania. Wybór starszej wersji AWS Glue nie jest główną przyczyną tego problemu, choć nowsze wersje mogą oferować ulepszenia. Kluczowe jest poprawne zaimplementowanie logiki zakładek w kodzie.