Firma uruchamia zadanie AWS Glue ETL codziennie o tej samej porze, aby przetwarzać dane XML przechowywane w zasobniku Amazon S3. Nowe dane są dodawane do zasobnika S3 codziennie. Architekt rozwiązań zauważa, że AWS Glue przetwarza wszystkie dane ponownie przy każdym uruchomieniu. Co powinien zrobić architekt rozwiązań, aby zapobiec ponownemu przetwarzaniu starych danych przez AWS Glue?

Zakładki zadań (job bookmarks) AWS Glue śledzą przetworzone dane, zapobiegając ponownemu przetwarzaniu starych plików S3. Gdy zadanie ETL jest uruchamiane, Glue używa zakładek, aby określić, które pliki zostały już przetworzone i przetwarza tylko nowe lub zmienione dane. Usuwanie danych po przetworzeniu nie jest praktycznym rozwiązaniem, ponieważ dane źródłowe mogą być potrzebne do innych celów lub do audytu. Ustawienie NumberOfWorkers na 1 nie ma wpływu na to, które dane są przetwarzane, a jedynie na wydajność zadania. Transformacja ML FindMatches służy do identyfikacji zduplikowanych rekordów w zestawie danych, a nie do zarządzania przyrostowym przetwarzaniem danych.