Компания хранит обучающие данные во вложенных JSON-файлах в S3 и нуждается в табличном формате для обучения XGBoost. Какой подход имеет наименьшие операционные издержки для преобразования этих JSON-файлов в табличные данные?

Создание задания AWS Glue PySpark с использованием преобразования Relationalize является наиболее эффективным решением. AWS Glue — это бессерверный сервис ETL, который автоматически обрабатывает вложенные структуры JSON и преобразует их в плоский, табличный формат, идеально подходящий для XGBoost, с минимальными операционными издержками. Relationalize специально разработан для этой цели, упрощая процесс. Написание пользовательского кода Scala для Amazon EMR Serverless требует больше усилий по разработке и управлению кластером, даже если он бессерверный. Использование AWS Lambda с Python для reduce() может быть неоптимальным для больших объемов данных из-за ограничений по времени выполнения и памяти, а также требует ручной реализации логики преобразования. Amazon Athena может запрашивать JSON, но функция flatten() может быть сложной для глубоко вложенных структур и не предназначена для преобразования данных в новый постоянный табличный формат для последующего использования в обучении.