Компания значительно увеличила объем CSV-файлов, хранящихся в бакете Amazon S3. Скрипты преобразования данных и запросы стали выполняться намного медленнее. Инженер машинного обучения должен реализовать решение, которое оптимизирует данные для повышения производительности запросов с МИНИМАЛЬНЫМИ операционными издержками. Какой вариант удовлетворяет этому требованию?

Преобразование CSV-файлов в формат Apache Parquet с помощью AWS Glue ETL является оптимальным решением. Parquet — это колоночный формат хранения данных, который обеспечивает значительно более высокую производительность запросов благодаря эффективному сжатию и возможности чтения только необходимых столбцов. AWS Glue — это бессерверный сервис ETL, что минимизирует операционные издержки, поскольку вам не нужно управлять серверами. Разделение файлов CSV на более мелкие объекты может немного улучшить параллелизм, но не решает проблему неэффективности формата CSV для запросов. Удаление столбцов со строковыми значениями не является универсальным решением для оптимизации запросов и может привести к потере данных. Использование кластера Amazon EMR, хотя и мощное, сопряжено с более высокими операционными издержками, так как требует управления кластером и его ресурсами.