Uma empresa carrega dados para um bucket S3 diariamente e usa o AWS Glue Data Catalog. Alguns dias, um relatório diário é executado antes que todos os dados cheguem. O engenheiro de dados deve enviar uma mensagem identificando quaisquer dados incompletos para um tópico Amazon SNS existente com o mínimo de sobrecarga operacional. Qual solução atende a essa necessidade?

A opção correta utiliza fluxos de trabalho do AWS Glue para orquestrar as verificações de qualidade de dados, o que é uma solução nativa e de baixa sobrecarga operacional para ETL e validação de dados no AWS Glue Data Catalog. O AWS Glue pode gerar eventos para o Amazon EventBridge, que, por sua vez, pode encaminhar esses eventos para um tópico SNS existente, atendendo ao requisito de notificação. As outras opções envolvem maior sobrecarga operacional. Apache Airflow gerenciado pela AWS e Amazon EMR são soluções mais complexas e caras para este caso de uso específico. Funções Lambda orquestradas por Step Functions poderiam funcionar, mas o AWS Glue Workflows é mais diretamente integrado ao Data Catalog e otimizado para tarefas de ETL e qualidade de dados, tornando-o a escolha mais eficiente e com menor sobrecarga operacional.