Une équipe entraîne un classifieur de chiffres Apache MXNet dans SageMaker et souhaite (1) une alerte si le modèle commence à surapprendre (overfitting) et (2) que les auditeurs puissent examiner l'activité de l'API SageMaker. Quelle est la solution la plus simple avec un minimum de code et d'étapes ?

La bonne réponse est d'activer AWS CloudTrail et d'utiliser des métriques CloudWatch personnalisées. CloudTrail est le service AWS natif pour l'enregistrement des appels d'API, répondant au besoin d'audit sans nécessiter de code supplémentaire. Pour détecter le surapprentissage, l'approche la plus simple consiste à émettre une métrique CloudWatch personnalisée (par exemple, la différence entre la précision d'entraînement et de validation) et à configurer une alarme CloudWatch qui déclenche une notification SNS lorsque cette métrique dépasse un seuil. Les options incorrectes impliquent des étapes inutiles ou manquent de fonctionnalités clés : Créer une fonction Lambda pour enregistrer les appels d'API SageMaker dans S3 est redondant car CloudTrail le fait nativement. Créer une fonction Lambda pour envoyer les journaux d'appels d'API SageMaker à CloudTrail est également redondant, car CloudTrail capture déjà ces événements. Configurer une rubrique SNS pour recevoir des notifications lorsque le modèle est en surapprentissage ne suffit pas, car il n'y a pas de mécanisme intégré pour détecter le surapprentissage et l'envoyer directement à SNS sans une métrique et une alarme CloudWatch.