Uma equipe treina um classificador de dígitos Apache MXNet no SageMaker e deseja (1) um alerta se o modelo começar a ter *overfitting* e (2) que os auditores possam revisar a atividade da API do SageMaker. Qual é a solução mais simples com o mínimo de código e etapas?

A opção correta atende a ambos os requisitos de forma eficiente. O AWS CloudTrail é o serviço nativo da AWS para registrar chamadas de API, fornecendo um registro de auditoria completo das atividades do SageMaker no S3 sem a necessidade de código adicional. Para detectar overfitting, o método mais simples e direto é adicionar código ao script de treinamento para emitir uma métrica personalizada (como a diferença entre a acurácia de treinamento e validação) para o Amazon CloudWatch. Um alarme do CloudWatch pode então ser configurado para monitorar essa métrica e enviar notificações via Amazon SNS quando o overfitting for detectado. As outras opções são menos eficientes: Criar uma função Lambda para registrar chamadas de API duplica a funcionalidade do CloudTrail e exige mais desenvolvimento. Enviar logs para o CloudTrail via Lambda é redundante, pois o CloudTrail já faz isso nativamente. Configurar um tópico SNS para overfitting sem uma métrica personalizada e um alarme do CloudWatch não é uma solução completa para a detecção.