Arquivos de diversas fontes chegam regularmente a um bucket do Amazon S3. Um engenheiro de dados precisa ingerir novos arquivos no Amazon Redshift em tempo quase real assim que eles aparecem no bucket do S3. Qual abordagem atende a esse requisito?

A abordagem correta é usar as S3 Event Notifications para invocar uma função AWS Lambda que carrega novos arquivos no Amazon Redshift. As S3 Event Notifications permitem que você configure o Amazon S3 para notificar outros serviços quando um evento específico ocorre, como a criação de um novo objeto. Ao configurar uma notificação para invocar uma função AWS Lambda, você pode acionar automaticamente um processo de ingestão de dados em tempo quase real. A função Lambda pode então usar o comando COPY do Redshift para carregar os novos arquivos. As outras opções não atendem ao requisito de tempo quase real ou são inadequadas para o cenário: O editor de consultas v2 para agendar um comando COPY não oferece ingestão em tempo quase real, pois requer agendamento manual ou periódico. A integração zero-ETL entre Amazon Aurora e Amazon Redshift é para dados do Aurora, não para arquivos arbitrários no S3. Os AWS Glue job bookmarks são úteis para ETL incremental, mas introduzem latência de processamento que pode não atender ao requisito de "tempo quase real" para cada arquivo individualmente.