Een detailhandelsbedrijf draait een dagelijks verkoopprognosemodel dat de afgelopen 3 weken onnauwkeurige voorspellingen heeft geproduceerd. Elke dag voegt een AWS Glue-taak modelinvoer, de voorspellingen van het model en de werkelijke dagelijkse verkopen samen in bestanden die zijn opgeslagen in Amazon S3. Het ML-team constateert dat de onnauwkeurigheden worden veroorzaakt door verschuivingen in de distributies van feature-waarden en heeft een oplossing nodig die dergelijke data drift in de toekomst detecteert met de minste operationele overhead. Welke aanpak voldoet aan deze vereiste?

De correcte optie is om Amazon SageMaker Model Monitor te gebruiken om een data quality baseline te creëren en een CloudWatch alarm in te stellen. SageMaker Model Monitor is specifiek ontworpen voor het detecteren van data drift en modelkwaliteitsproblemen in productie. Door een data quality baseline te maken en emitmetrics in te schakelen, worden relevante metrieken naar CloudWatch gestuurd, waarop vervolgens een alarm kan worden geconfigureerd om te waarschuwen bij afwijkingen. Dit biedt de laagste operationele overhead omdat Model Monitor geautomatiseerd is. De optie met 'model quality baseline' is onjuist omdat het probleem specifiek over data drift gaat (verschuivingen in feature-distributies), niet over de prestaties van het model zelf. SageMaker Debugger is bedoeld voor het debuggen van trainingsjobs en niet voor monitoring van data drift in productie. Het handmatig inspecteren van CloudWatch Logs is inefficiënt en schaalt niet voor geautomatiseerde detectie.