Um engenheiro de dados extrai dados de treinamento mensais do Amazon Redshift para o Amazon S3. O esquema de origem inclui TransactionTimestamp (timestamp), CardName (varchar) e CardNo (varchar). O engenheiro deve (1) remover linhas com CardNo = NULL, (2) dividir TransactionTimestamp em TransactionDate e TransactionTime e (3) renomear CardName para NameOnCard. A solução deve minimizar a configuração da infraestrutura, ser automatizada mensalmente e impor carga mínima ao cluster Redshift. Qual solução atende a esses requisitos?

A solução AWS Glue é a mais adequada porque atende a todos os requisitos. O AWS Glue é um serviço ETL sem servidor que minimiza a configuração de infraestrutura. Ele pode ler diretamente do Redshift, aplicar as transformações necessárias (filtrar nulos, dividir colunas e renomear campos) usando suas transformações integradas e gravar no S3. O agendamento mensal é nativamente suportado. Provisionar um cluster EMR adiciona sobrecarga de infraestrutura e gerenciamento. Executar consultas de uma instância EC2 é um processo manual e não automatizado, além de não minimizar a carga no Redshift, pois a instância buscaria todos os dados para processamento local. O Redshift Spectrum é usado para consultar dados no S3, não para exportar dados do Redshift para o S3 com transformações complexas, e agendá-lo via Lambda para transformações complexas não é a abordagem mais eficiente ou gerenciável.