Um engenheiro de ML usará o Amazon SageMaker Canvas para treinar um modelo com dados de estrutura complexa armazenados no Amazon S3. Qual formato de arquivo minimizará o tempo de pré-processamento para esses dados?

Apache Parquet é um formato de armazenamento de dados colunar otimizado para análise, o que o torna ideal para dados de estrutura complexa e grandes volumes. Sua natureza colunar permite que o SageMaker Canvas leia apenas as colunas necessárias, reduzindo significativamente o tempo de E/S e o pré-processamento. Além disso, Parquet oferece compressão e codificação eficientes, otimizando o uso de armazenamento e a velocidade de leitura. Arquivos CSV compactados com Snappy, JSONL e JSON compactados com gzip são formatos orientados a linha. Embora a compressão ajude, a leitura de dados colunares ainda exigiria a leitura de linhas inteiras, mesmo que apenas algumas colunas fossem necessárias, resultando em maior tempo de pré-processamento comparado ao Parquet.