FinSight LLC esegue una valutazione del bias pre-addestramento con SageMaker Clarify su un dataset di approvazione prestiti archiviato in un bucket S3 (s3://finsight-prod/data). Il report di pre-addestramento di Clarify mostra Class Imbalance (CI) = 0.12 per l'etichetta target (accettabile al di sotto di 0.2) e Difference in Positive Proportions (DPP) per il genere (maschio vs femmina) = 0.18 (supera la soglia di policy di 0.10). Il team del modello prevede di riaddestrare su un'istanza di training ml.c5.4xlarge. Qual è l'azione immediata più appropriata per affrontare questi risultati di Clarify prima del riaddestramento?

L'opzione corretta è creare una pipeline di pre-elaborazione per ridurre il DPP. Il report di Clarify mostra un DPP per il genere di 0.18, che supera la soglia di policy di 0.10. Questo indica un bias significativo che deve essere affrontato prima del riaddestramento per garantire equità. Tecniche come il ricampionamento consapevole del gruppo o la riponderazione dei campioni sono metodi efficaci per mitigare il bias pre-addestramento. Un SageMaker Processing job è lo strumento ideale per implementare queste trasformazioni su larga scala direttamente su S3. L'opzione di ignorare il CI è corretta, ma l'affermazione sul DPP come risultato post-training è errata; Clarify lo ha già identificato come un problema pre-addestramento. Rimuovere la colonna del genere non elimina necessariamente il bias, poiché altri attributi correlati potrebbero ancora codificare le informazioni sul genere (bias indiretto). Utilizzare SageMaker Model Monitor è per il monitoraggio post-deployment e non affronta il bias identificato prima del training.