Uma empresa coleta dados de log em tempo real usando o Amazon Kinesis Data Streams e deseja executar consultas em tempo real e enriquecer os logs no Amazon Redshift. Qual método de ingestão oferece a menor sobrecarga operacional para levar os dados ao Redshift?

A ingestão de streaming do Amazon Redshift diretamente do Kinesis Data Streams é a opção com menor sobrecarga operacional. Ela permite que os dados sejam ingeridos e disponibilizados para consulta em tempo real, sem a necessidade de serviços intermediários ou ETL complexo. A visualização materializada otimiza o desempenho das consultas. Configurar um stream de entrega do Kinesis Data Firehose para o Redshift é uma boa opção, mas o Firehose adiciona uma camada de serviço e pode ter latência ligeiramente maior em comparação com a ingestão direta. Enviar para o S3 e depois carregar no Redshift introduz etapas adicionais e maior latência, aumentando a sobrecarga operacional. O Amazon Managed Service for Apache Flink é poderoso para processamento em tempo real, mas requer o desenvolvimento e gerenciamento de aplicações Flink, o que aumenta significativamente a sobrecarga operacional em comparação com a ingestão direta.