Um parceiro envia um arquivo de dados para um bucket do Amazon S3 todos os dias. Um trabalho ETL do AWS Glue limpa e transforma o arquivo diariamente e grava o resultado em Daily.csv em outro bucket S3. Às vezes, o arquivo de entrada está vazio ou tem campos obrigatórios ausentes; quando isso acontece, a empresa deseja manter o CSV do dia anterior. O engenheiro deve garantir que o arquivo do dia anterior seja sobrescrito apenas quando o novo arquivo diário estiver completo e válido. Qual solução realiza isso com o menor esforço?

A habilitação do AWS Glue Data Quality (DQ) com regras DQDL é a solução mais eficiente. O Glue DQ pode ser configurado diretamente no trabalho ETL do Glue para validar os dados de entrada. As regras DQDL podem ser criadas para verificar se o arquivo está vazio e se campos obrigatórios estão ausentes. Se as verificações de qualidade de dados falharem, o trabalho ETL pode ser configurado para não sobrescrever o arquivo Daily.csv existente, garantindo que a versão válida do dia anterior seja mantida. Acionar uma função Lambda para validação adiciona complexidade e custo desnecessários, pois o Glue DQ já oferece essa funcionalidade de forma nativa. Modificar o código do trabalho ETL para imputar campos ausentes não resolve o problema de um arquivo de entrada inválido ou vazio, apenas tenta "corrigir" dados ruins, o que não é o objetivo aqui. Executar uma consulta Athena para limpeza é ineficiente e não garante que o arquivo anterior seja mantido em caso de falha na validação, além de ser um processo mais manual e menos integrado ao pipeline ETL existente.