ML-инженер будет использовать Amazon SageMaker Canvas для обучения модели со сложноструктурированными данными, хранящимися в Amazon S3. Какой формат файла минимизирует время предварительной обработки этих данных?

Apache Parquet — это колоночный формат хранения данных, оптимизированный для аналитических запросов. Он обеспечивает высокую степень сжатия и эффективное чтение данных, особенно при работе со сложноструктурированными данными, поскольку позволяет считывать только необходимые столбцы, а не всю строку. Это значительно сокращает время предварительной обработки в SageMaker Canvas. CSV-файлы, даже сжатые Snappy, являются строковыми и менее эффективны для выборочного чтения столбцов. JSON-объекты (JSONL или сжатые gzip) также являются строковыми форматами и требуют больше ресурсов для парсинга и обработки, чем колоночные форматы, что увеличивает время предварительной обработки.