Firma przechowuje jezioro danych w Amazon S3, które pobiera dane Apache Parquet z wielu źródeł. Dane wymagają kilku etapów transformacji (filtrowanie anomalii, normalizacja wartości daty/czasu i generowanie agregatów), zanim analitycy będą mogli uzyskać dostęp do przekształconych danych w S3. Firma poszukuje gotowego rozwiązania do transformacji bez kodu, które zapewnia pochodzenie danych i profilowanie danych, a także umożliwia udostępnianie etapów transformacji w całej firmie. Które rozwiązanie spełnia te wymagania?

AWS Glue DataBrew to bezserwerowa usługa przygotowywania danych, która umożliwia wizualne czyszczenie i normalizowanie danych bez pisania kodu. Oferuje ponad 250 wbudowanych transformacji, profilowanie danych i śledzenie pochodzenia danych, co jest kluczowe dla wymagań. Przepisy DataBrew (receptury) można łatwo udostępniać w całej firmie, spełniając wymóg ponownego wykorzystania etapów transformacji. Inne opcje są mniej odpowiednie: AWS Glue Studio wymaga tworzenia zadań Glue, które często obejmują kod (PySpark lub Scala), co nie spełnia wymogu "bez kodu". Amazon EMR Serverless to platforma do uruchamiania aplikacji Big Data (np. Spark, Hive), która również wymaga pisania kodu. Amazon Athena służy do interaktywnego analizowania danych za pomocą SQL, a nie do bezkodowej transformacji danych z profilowaniem i pochodzeniem. Chociaż SQL może transformować dane, nie jest to rozwiązanie "bez kodu" i nie oferuje wbudowanego profilowania ani pochodzenia danych w sposób wymagany.