FinSight LLC voert een pre-training bias assessment uit met SageMaker Clarify op een dataset voor leninggoedkeuring die is opgeslagen in een S3-bucket (s3://finsight-prod/data). Het Clarify pre-training rapport toont Class Imbalance (CI) = 0,12 voor het doellabel (acceptabel onder 0,2) en Difference in Positive Proportions (DPP) voor geslacht (man versus vrouw) = 0,18 (overschrijdt de beleidsdrempel van 0,10). Het modelteam is van plan om opnieuw te trainen op een ml.c5.4xlarge trainingsinstantie. Wat is de meest geschikte onmiddellijke actie om deze Clarify-resultaten aan te pakken voordat opnieuw wordt getraind?

De correcte actie is het creëren van een pre-processing pipeline met group-aware resampling of sample re-weighting. De DPP van 0,18 overschrijdt de beleidsdrempel van 0,10, wat duidt op bias in de trainingsdata die onmiddellijk moet worden aangepakt. Pre-processing technieken zoals resampling of re-weighting kunnen de onevenwichtigheid tussen groepen verminderen voordat het model wordt getraind, wat resulteert in een eerlijker model. Een SageMaker Processing job is hiervoor een geschikte tool. Het negeren van de DPP is onverantwoord, aangezien dit een pre-training bias is die het model zal overnemen. Het verwijderen van de geslachtskolom is geen oplossing, omdat andere kenmerken nog steeds correlaties met geslacht kunnen bevatten, wat tot indirecte bias leidt. Model Monitor is voor post-implementatie monitoring, niet voor het oplossen van pre-training bias.