RetailStream LLC heeft een classificatie-endpoint dat voorspellingen vastlegt in s3://retailstream-capture/predictions/. Ze hebben ook gelabelde ground truth, geproduceerd door een SageMaker Ground Truth labeling job, opgeslagen als een manifest in s3://retailstream-labels/manifest/. Het data-science team heeft behoefte aan modelkwaliteitsmonitoring die voorspellingen vergelijkt met de ware labels. Wat is de juiste manier om ground truth aan SageMaker Model Monitor te leveren, zodat de MonitoringSchedule modelkwaliteitsstatistieken kan berekenen?

De juiste aanpak is om een periodieke SageMaker Processing job (of Lambda) te gebruiken om de vastgelegde voorspellingen en de ground truth labels samen te voegen. Model Monitor heeft een enkel bestand nodig dat zowel de voorspellingen als de bijbehorende ware labels bevat om modelkwaliteitsstatistieken te berekenen. Door een gemeenschappelijke record-identifier te gebruiken, kunnen de voorspellingen van het endpoint en de labels uit het Ground Truth-manifest worden gekoppeld. Het samengevoegde bestand wordt vervolgens naar S3 geschreven, en de Model Quality Monitoring job wordt geconfigureerd om naar deze locatie te verwijzen en het juiste label-attribuut te specificeren. De andere opties zijn onjuist omdat: Model Monitor voegt niet automatisch manifesten en voorspellingen samen op basis van een verwijzing of als ze in hetzelfde account staan. Een EventBridge-regel die Model Monitor triggert op de output van een labeling job is niet voldoende, omdat Model Monitor niet automatisch voorspellingen uit CloudWatch-logs haalt en deze samenvoegt met een manifest. Het uploaden van het Ground Truth-manifest naar hetzelfde S3-prefix zonder samenvoeging en het verwachten dat Model Monitor records afleidt door tijdstempels te matchen, is niet de verwachte functionaliteit; expliciete samenvoeging is vereist.