FinSight LLC проводит оценку предтренировочного смещения с помощью SageMaker Clarify на наборе данных для одобрения кредитов, хранящемся в бакете S3 (s3://finsight-prod/data). Отчет Clarify о предтренировочном смещении показывает Class Imbalance (CI) = 0.12 для целевой метки (допустимо ниже 0.2) и Difference in Positive Proportions (DPP) для пола (мужчины против женщин) = 0.18 (превышает пороговое значение политики 0.10). Команда модели планирует переобучить модель на тренировочном экземпляре ml.c5.4xlarge. Каково наиболее подходящее немедленное действие для устранения этих результатов Clarify перед переобучением?

Правильный ответ — создание конвейера предварительной обработки с передискретизацией или перевзвешиванием. Это прямое и эффективное действие для устранения предтренировочного смещения (DPP) до обучения модели. SageMaker Clarify выявил DPP = 0.18, что превышает пороговое значение 0.10, указывая на несбалансированность в тренировочных данных, которую необходимо исправить на этапе предварительной обработки. Неправильные варианты: Игнорирование CI и исправление DPP после обучения неоптимально, так как DPP уже присутствует в данных и повлияет на обучение модели. Коррекция после обучения может быть менее эффективной. Удаление столбца пола устранит DPP, но также лишит модель потенциально важной информации, что может снизить общую производительность. Использование SageMaker Model Monitor предназначено для обнаружения дрейфа после развертывания, а не для устранения предтренировочного смещения. Проблема уже выявлена до обучения, поэтому ее нужно решать до развертывания.