StreamVid przechowuje terabajty surowych logów CSV w S3 i potrzebuje zautomatyzowanego profilowania oraz powtarzalnej transformacji (parsuj znaczniki czasu, usuwaj kolumny o niskiej kardynalności, konwertuj na Parquet) przed rozpoczęciem trenowania. Który przepływ pracy DataBrew najlepiej spełnia te wymagania i co należy zapewnić dla zaplanowanych uruchomień?

Prawidłowa odpowiedź opisuje standardowy i efektywny przepływ pracy w AWS Glue DataBrew. DataBrew jest przeznaczone do profilowania danych, czyszczenia i normalizacji, w tym do parsowania znaczników czasu, usuwania kolumn i konwersji formatów (np. na Parquet). Może również planować zadania i zapisywać wyniki z powrotem do S3. Kluczowe jest zapewnienie odpowiednich uprawnień IAM dla roli zadania oraz dostępności ścieżki S3. Pozostałe opcje są nieprawidłowe, ponieważ: AWS Glue ETL jest alternatywą, ale pytanie wyraźnie dotyczy DataBrew i jego możliwości. Stwierdzenie, że DataBrew nie może planować zadań ani zapisywać Parquet, jest błędne. SageMaker Data Wrangler jest narzędziem do przygotowywania danych, ale pytanie dotyczy DataBrew. Stwierdzenie, że DataBrew jest niepotrzebne i nie może generować Parquet ani planować zadań, jest również błędne. Funkcja Lambda do profilowania terabajtów danych w pamięci jest niepraktyczna i kosztowna; Lambda nie jest przeznaczona do przetwarzania dużych zbiorów danych.