Uma empresa ingere dados de pagamento de clientes em um data lake no Amazon S3. Os dados de pagamento chegam em média uma vez por minuto. A empresa precisa de análise em tempo real dos dados de pagamento e, em seguida, da ingestão no data lake. Qual solução oferece a MAIOR eficiência operacional?

A solução mais eficiente operacionalmente é usar o Amazon Kinesis Data Firehose para ingestão e o Amazon Kinesis Data Analytics para análise em tempo real. O Kinesis Data Firehose é um serviço totalmente gerenciado que carrega dados de streaming diretamente para o Amazon S3 (o data lake), sem a necessidade de gerenciar servidores. Ele também pode transformar dados antes da entrega. O Kinesis Data Analytics é ideal para análise em tempo real de dados de streaming, permitindo consultas SQL ou Apache Flink nos dados à medida que chegam, sem gerenciar infraestrutura. As outras opções são menos eficientes: Kinesis Data Streams exige gerenciamento de shards e provisionamento de capacidade, aumentando a sobrecarga operacional. AWS Glue é um serviço ETL (Extract, Transform, Load) que é mais adequado para processamento em lote ou semi-lote, não para análise em tempo real de dados que chegam a cada minuto. Amazon API Gateway é uma boa opção para expor APIs, mas não é o serviço principal para ingestão de streaming de dados em um data lake.