Os dados do cliente são armazenados diariamente em arquivos compactados e particionados por data no S3. Os analistas baixam, validam e carregam os resultados no QuickSight mensalmente. O engenheiro deve verificar automaticamente a qualidade dos dados antes que sejam enviados para o QuickSight com o MÍNIMO de sobrecarga operacional. Qual solução se encaixa melhor?

A opção correta é a mais eficiente e de menor sobrecarga operacional. O AWS Glue Data Quality permite definir e executar regras de qualidade de dados diretamente no catálogo de dados, sem a necessidade de escrever código complexo ou gerenciar infraestrutura adicional. Um crawler do AWS Glue pode ser agendado mensalmente para atualizar o catálogo, e as regras de qualidade de dados podem ser aplicadas automaticamente. As outras opções são menos ideais: Criar um trabalho do AWS Glue com PySpark para funções personalizadas aumenta a sobrecarga de desenvolvimento e manutenção. Usar uma função AWS Lambda para scripts Python também exige desenvolvimento e manutenção de código, além de uma configuração de gatilho que não se alinha com a periodicidade mensal. O Amazon SQS e o CloudWatch Insights não são ferramentas projetadas para avaliar a qualidade dos dados diretamente; eles são mais para monitoramento e orquestração.