Firma przechowuje dane szkoleniowe w zagnieżdżonych plikach JSON w S3 i potrzebuje formatu tabelarycznego do trenowania XGBoost. Które podejście wiąże się z najmniejszym obciążeniem operacyjnym przy konwersji tych plików JSON na dane tabelaryczne?

Utworzenie zadania AWS Glue PySpark z transformacją Relationalize jest najbardziej efektywnym operacyjnie rozwiązaniem. Transformacja Relationalize w AWS Glue jest specjalnie zaprojektowana do spłaszczania zagnieżdżonych danych JSON i przekształcania ich w format tabelaryczny, co minimalizuje potrzebę pisania skomplikowanego kodu. Napisanie niestandardowego kodu Scala i uruchomienie go na Amazon EMR Serverless wymaga większego nakładu pracy na rozwój i utrzymanie kodu. Funkcja AWS Lambda z reduce() jest mniej odpowiednia dla dużych zbiorów danych ze względu na ograniczenia czasowe i pamięciowe Lambdy. Użycie Amazon Athena do spłaszczania danych jest możliwe, ale wymagałoby ręcznego definiowania schematu i potencjalnie wielu zapytań, co jest mniej zautomatyzowane niż transformacja Relationalize w Glue.