Ein Unternehmen führt täglich mehrere AWS Glue ETL-Jobs aus, die S3-Daten mithilfe eines DynamicFrame lesen und transformierte Daten in Amazon RDS for MySQL laden. Derzeit verarbeiten die Jobs alle Objekte im S3-Bucket neu, aber das Unternehmen möchte, dass die Jobs nur mit den täglich inkrementellen Daten arbeiten. Welche Lösung erfordert die geringste Anzahl von Codeänderungen?

Job-Bookmarks in AWS Glue sind die effizienteste Lösung für inkrementelle Datenverarbeitung, da sie automatisch den Status der zuletzt verarbeiteten Daten in S3 verfolgen. Nach jedem erfolgreichen Lauf aktualisiert Glue die Bookmarks, sodass beim nächsten Start nur neue oder geänderte Dateien verarbeitet werden. Dies erfordert minimale Codeänderungen, oft nur eine Konfigurationsoption. Das Lesen des S3-Dateistatus und das Protokollieren in DynamoDB wäre eine manuelle Implementierung, die mehr Entwicklungsaufwand erfordert. Job-Metriken in CloudWatch dienen der Überwachung, nicht der Zustandsverfolgung für inkrementelle Verarbeitung. Das Löschen verarbeiteter Objekte aus S3 ist riskant, da es zu Datenverlust führen kann und keine echte inkrementelle Verarbeitung darstellt, da die Quelle verändert wird.