Partner codziennie umieszcza plik danych w zasobniku Amazon S3. Zadanie AWS Glue ETL codziennie czyści i przekształca plik, a następnie zapisuje wynik do Daily.csv w innym zasobniku S3. Czasami przychodzący plik jest pusty lub brakuje w nim wymaganych pól; w takiej sytuacji firma chce zachować plik CSV z poprzedniego dnia. Inżynier musi zapewnić, że plik z poprzedniego dnia zostanie nadpisany tylko wtedy, gdy nowy dzienny plik jest kompletny i prawidłowy. Które rozwiązanie osiągnie to przy najmniejszym wysiłku?

Poprawna odpowiedź to włączenie AWS Glue Data Quality w zadaniu ETL i utworzenie reguł DQDL. AWS Glue Data Quality (DQ) jest wbudowaną funkcją Glue, która pozwala na definiowanie reguł jakości danych bezpośrednio w zadaniu ETL. Umożliwia to łatwe sprawdzanie, czy plik nie jest pusty i czy zawiera wszystkie wymagane pola, a następnie warunkowe zapisanie lub odrzucenie danych. To rozwiązanie jest najbardziej efektywne, ponieważ integruje walidację bezpośrednio z procesem ETL, minimalizując dodatkowy wysiłek i złożoność. Pozostałe opcje są mniej optymalne: Funkcja AWS Lambda do walidacji wymagałaby dodatkowego kodu i zarządzania, zwiększając złożoność. Modyfikacja kodu zadania Glue ETL w celu imputacji brakujących danych nie spełnia wymogu zachowania poprzedniego pliku w przypadku niekompletnych danych, a jedynie modyfikuje bieżący plik. Uruchomienie zapytania Amazon Athena SQL do czyszczenia pliku CSV jest nieefektywne, ponieważ Athena służy do zapytań, a nie do transformacji i warunkowego zapisu, co wymagałoby dodatkowych kroków i logiki.