Инженер машинного обучения должен создать конвейер, который использует Amazon Athena для двух рабочих нагрузок: крупномасштабных пакетных преобразований и обучения моделей, а также запросов с низкой задержкой в почти реальном времени для инференса и аналитики. Какой формат файла обеспечит НАИМЕНЬШУЮ задержку как для пакетной обработки, так и для обработки в почти реальном времени?

Apache Parquet — это колоночный формат хранения данных, оптимизированный для аналитических запросов. Он обеспечивает высокую производительность как для пакетной обработки, так и для запросов с низкой задержкой благодаря эффективному сжатию данных, кодированию и возможности пропускать ненужные столбцы. Это значительно сокращает объем сканируемых данных и повышает скорость выполнения запросов в Amazon Athena. CSV, Nested JSON и Deserialized JSON являются строковыми форматами, что делает их менее эффективными для аналитических запросов, поскольку Athena приходится сканировать больше данных и выполнять дополнительную десериализацию, что увеличивает задержку.