Een ML-model dat is geïmplementeerd met Amazon SageMaker gebruikt Model Monitor. Na het updaten van het model constateert de ML-engineer data quality failures in Model Monitor-controles. Welke actie moet de engineer ondernemen om de data quality-problemen aan te pakken die Model Monitor heeft gesignaleerd?

De juiste actie is het genereren van een nieuwe baseline vanuit de nieuwste productiedataset en Model Monitor configureren om deze te gebruiken. Data quality failures duiden erop dat de huidige data-invoer afwijkt van de verwachte data, zoals gedefinieerd door de baseline. Door een nieuwe baseline te genereren op basis van recente, representatieve productiedata, wordt Model Monitor in staat gesteld om de data-invoer correct te evalueren tegen de actuele data-eigenschappen. Het tunen van het model of het toevoegen van meer voorbeelden aan de trainingsset (opties 1 en 4) zijn oplossingen voor modelprestatieproblemen of bias, niet direct voor data quality issues die door Model Monitor worden gedetecteerd. Het handmatig starten van een Model Monitor-taak (optie 2) kan nuttig zijn voor ad-hoc analyse, maar lost het onderliggende probleem van een verouderde of inaccurate baseline niet op.