Uma empresa usará o Amazon Kinesis Data Firehose para entregar dados ao Amazon S3. Os arquivos de entrada são arquivos CSV de 2 MB. A empresa deve converter os arquivos CSV para JSON e armazená-los no formato Apache Parquet no S3. Qual abordagem exige o menor esforço de desenvolvimento?

A opção correta é a que envolve o Kinesis Data Firehose para invocar uma função AWS Lambda que transforma os arquivos CSV para JSON, e então o próprio Kinesis Data Firehose para armazenar os arquivos no formato Parquet. O Kinesis Data Firehose possui a capacidade nativa de converter formatos de dados (como de JSON para Parquet ou ORC) e de comprimir dados antes de entregá-los ao S3, minimizando o esforço de desenvolvimento para essas etapas. A transformação de CSV para JSON, no entanto, não é uma capacidade nativa do Firehose e requer uma função Lambda. As outras opções são menos eficientes ou exigem mais desenvolvimento: Converter CSV para JSON e usar Lambda para Parquet: O Firehose não converte CSV para JSON diretamente, e usar Lambda para Parquet adiciona complexidade desnecessária, pois o Firehose pode fazer isso. Kinesis Data Firehose para converter CSV para JSON e armazenar em Parquet: O Firehose não converte CSV para JSON diretamente. Kinesis Data Firehose para invocar Lambda para transformar CSV para JSON e armazenar em Parquet: Isso é redundante, pois o Firehose pode armazenar em Parquet após a transformação para JSON.