Firma przechowuje pliki CSV w Amazon S3. Inżynier danych musi przetworzyć pliki CSV i zapisać wyniki w nowym zasobniku S3. Wymagane transformacje to: zmiana nazwy jednej kolumny, usunięcie określonych kolumn, pominięcie drugiego wiersza każdego pliku, utworzenie nowej kolumny na podstawie wartości z pierwszego wiersza oraz filtrowanie wierszy według kolumny numerycznej. Która opcja spełnia te wymagania przy najmniejszym nakładzie pracy deweloperskiej?

AWS Glue DataBrew to bezserwisowa usługa przygotowywania danych, która umożliwia wizualne czyszczenie i normalizowanie danych za pomocą interfejsu użytkownika, bez pisania kodu. Oferuje predefiniowane transformacje, które idealnie pasują do opisanych wymagań: zmiana nazw kolumn, usuwanie kolumn, filtrowanie wierszy, tworzenie nowych kolumn na podstawie istniejących oraz pomijanie wierszy. Dzięki temu DataBrew minimalizuje nakład pracy deweloperskiej. Zadania AWS Glue Python wymagają pisania kodu, co zwiększa nakład pracy. Niestandardowy crawler AWS Glue służy do wykrywania schematu danych, a nie do ich transformacji. Przepływ pracy AWS Glue koordynuje zadania, ale same transformacje nadal musiałyby być zaimplementowane w zadaniach Python lub Spark, co również zwiększa nakład pracy.