Een team traint een Apache MXNet digit classifier in SageMaker en wil (1) een waarschuwing als het model begint te overfitten en (2) dat auditors SageMaker API-activiteit kunnen controleren. Wat is de eenvoudigste oplossing met minimale code en stappen?

De correcte optie combineert de juiste services voor beide vereisten. AWS CloudTrail is de standaard en meest efficiënte service voor het loggen van API-activiteit in AWS, inclusief SageMaker API-aanroepen, en slaat deze logs op in S3 voor auditdoeleinden. Voor het detecteren van overfitting is het uitzenden van een aangepaste CloudWatch-metriek vanuit de trainingscode (bijvoorbeeld validatieverlies) en het configureren van een CloudWatch-alarm met SNS de meest directe en geautomatiseerde methode. De eerste optie is onnodig complex; een Lambda-functie is niet nodig om SageMaker API-aanroepen te loggen, aangezien CloudTrail dit native doet. De derde optie is ook onnodig complex en onjuist; CloudTrail logt API-aanroepen direct, zonder tussenkomst van een Lambda-functie. De vierde optie mist de cruciale stap van het uitzenden van een aangepaste CloudWatch-metriek om overfitting te detecteren; alleen het configureren van een SNS-topic is onvoldoende om de conditie van overfitting te monitoren.