RetailStream LLC dispose d'un point de terminaison de classification qui capture les prédictions vers s3://retailstream-capture/predictions/. Ils ont également des vérités terrain étiquetées produites par un travail d'étiquetage SageMaker Ground Truth stocké sous forme de manifeste dans s3://retailstream-labels/manifest/. L'équipe de science des données a besoin d'une surveillance de la qualité du modèle qui compare les prédictions avec les vraies étiquettes. Quelle est la bonne façon de fournir la vérité terrain à SageMaker Model Monitor afin que le MonitoringSchedule puisse calculer les métriques de qualité du modèle ?

La bonne approche consiste à préparer les données de manière à ce que Model Monitor puisse les consommer directement. SageMaker Model Monitor nécessite un ensemble de données unique contenant à la fois les prédictions et les vraies étiquettes pour calculer les métriques de qualité du modèle. Un travail SageMaker Processing (ou une fonction Lambda) peut être utilisé pour joindre les prédictions capturées et les vérités terrain du manifeste Ground Truth en utilisant un identifiant d'enregistrement commun. Le fichier fusionné, contenant les colonnes de prédiction et de vraie étiquette, est ensuite stocké dans S3, et Model Monitor est configuré pour pointer vers cet emplacement. Les autres options sont incorrectes car: Model Monitor ne joint pas automatiquement les manifestes d'étiquettes et les prédictions. Il a besoin d'un ensemble de données pré-joint. Model Monitor ne déclenche pas directement sur la sortie de Ground Truth et ne récupère pas les prédictions des journaux CloudWatch pour les fusionner. Télécharger le manifeste Ground Truth dans le même préfixe S3 que les prédictions sans fusionner ne fonctionnera pas, car Model Monitor ne déduira pas comment joindre les enregistrements par horodatage.