Um especialista em ML está preparando dados com um job PySpark que inclui agregações de janela complexas. Ele quer testar como diferentes contagens de recursos e tamanhos de amostra afetam o desempenho do modelo. Qual abordagem permite registrar parâmetros e resultados de transformação para que ele possa avaliar e comparar variantes de preparação de dados?

A opção correta é usar um rastreador do Amazon SageMaker Experiments dentro do script e executá-lo como um job de processamento do SageMaker. O SageMaker Experiments é projetado para rastrear e comparar diferentes execuções de treinamento e processamento, registrando parâmetros, métricas e artefatos. Isso permite avaliar e comparar as variantes de preparação de dados de forma eficaz. Um job de processamento do SageMaker é ideal para executar scripts PySpark, pois oferece um ambiente gerenciado e escalável. As outras opções são incorretas porque: SageMaker Debugger foca na análise de treinamento de modelos para identificar problemas como overfitting ou underfitting, não no rastreamento de parâmetros de pré-processamento. Executar como um job do AWS Glue é possível, mas o AWS Glue não oferece a mesma integração nativa com o rastreamento de experimentos do SageMaker Experiments para comparar variantes de pré-processamento de forma tão otimizada.