Uma empresa tem um milhão de usuários de aplicativos móveis e precisa de análise de dados quase em tempo real. Os dados devem ser criptografados quase em tempo real e armazenados centralmente no formato Apache Parquet para processamento posterior. Qual solução oferece isso com o MENOR overhead operacional?

A opção correta utiliza o Kinesis Data Firehose para ingestão e armazenamento no S3 e o Kinesis Data Analytics para análise. O Kinesis Data Firehose é um serviço totalmente gerenciado que simplifica a entrega de dados de streaming para destinos como o S3, suportando conversão para Apache Parquet e criptografia, minimizando o overhead operacional. O Kinesis Data Analytics é ideal para análise quase em tempo real em streams, sem a necessidade de gerenciar servidores. As outras opções são menos eficientes: Usar um stream de dados do Kinesis com Lambda para enviar para o Kinesis Data Analytics adiciona complexidade desnecessária, pois o Firehose pode fazer isso diretamente. Usar um cluster EMR para análise introduz maior overhead operacional, pois o EMR requer gerenciamento de cluster, o que é mais complexo do que o Kinesis Data Analytics sem servidor. A combinação de Firehose e EMR ainda mantém o overhead do EMR, enquanto a análise em tempo real é melhor servida pelo Kinesis Data Analytics.