Un team addestra un classificatore di cifre Apache MXNet in SageMaker e desidera (1) un avviso se il modello inizia a fare overfitting e (2) che gli auditor possano rivedere l'attività dell'API SageMaker. Qual è la soluzione più semplice con codice e passaggi minimi?

L'opzione corretta risolve entrambi i requisiti in modo efficiente. Abilitare AWS CloudTrail registra automaticamente le chiamate API di SageMaker su S3, fornendo una traccia di audit per i revisori senza codice aggiuntivo. Per rilevare l'overfitting, il codice di training può emettere una metrica personalizzata su Amazon CloudWatch (ad esempio, la differenza tra accuratezza di training e validazione). Un allarme CloudWatch configurato su questa metrica può quindi inviare notifiche tramite Amazon SNS quando viene superata una soglia di overfitting. Le altre opzioni sono meno efficienti o incomplete: La creazione di una funzione Lambda per registrare le chiamate API è ridondante e più complessa, poiché CloudTrail lo fa nativamente. Inviare log API a CloudTrail tramite Lambda è anche ridondante e non necessario. Configurare un argomento SNS per l'overfitting senza una metrica CloudWatch personalizzata e un allarme non fornisce un meccanismo automatico per rilevare e notificare l'overfitting basato su metriche del modello.