FinSight LLC exécute une évaluation des biais de pré-entraînement avec SageMaker Clarify sur un jeu de données d'approbation de prêt stocké dans un compartiment S3 (s3://finsight-prod/data). Le rapport de pré-entraînement Clarify indique un déséquilibre de classe (CI) = 0,12 pour l'étiquette cible (acceptable en dessous de 0,2) et une différence de proportions positives (DPP) pour le genre (homme vs femme) = 0,18 (dépasse le seuil de politique de 0,10). L'équipe de modélisation prévoit de réentraîner sur une instance d'entraînement ml.c5.4xlarge. Quelle est l'action immédiate la plus appropriée pour traiter ces résultats Clarify avant le réentraînement ?

L'action la plus appropriée est de créer un pipeline de pré-traitement pour réduire le DPP avant le réentraînement. Le DPP de 0,18 dépasse le seuil de 0,10, indiquant un biais significatif entre les genres qui doit être corrigé avant l'entraînement du modèle pour garantir l'équité. Le rééchantillonnage sensible au groupe ou la repondération des échantillons sont des techniques efficaces pour atténuer ce type de biais. Un SageMaker Processing job est idéal pour cette tâche car il permet d'exécuter des scripts de traitement de données à grande échelle. Ignorer le CI est correct, mais le DPP doit être traité avant l'entraînement, pas après. Supprimer la colonne de genre peut réduire le DPP apparent, mais cela peut également masquer des biais indirects ou réduire la performance du modèle. Utiliser Model Monitor est pour la détection de dérive après le déploiement, pas pour corriger un biais de pré-entraînement.