DetectEye использует модель обнаружения мошенничества с 0,3% положительных классов и планирует обучить модель XGBoost на SageMaker. Они хотят решить проблему сильного дисбаланса классов, сохраняя при этом как можно больше сигнала и избегая усиления шума меток. Какие ДВА вмешательства наиболее целесообразно попробовать в первую очередь в этом производственном контексте?

SMOTE (Synthetic Minority Over-sampling Technique) является эффективным методом для борьбы с дисбалансом классов, синтезируя новые примеры миноритарного класса. Применение его в SageMaker Processing позволяет увеличить количество положительных классов, сохраняя при этом сигнал и избегая усиления шума, что важно для обнаружения мошенничества. Установка параметра scaleposweight в XGBoost напрямую учитывает дисбаланс классов во время обучения, увеличивая вес положительных примеров в функции потерь. Это позволяет модели уделять больше внимания миноритарному классу без изменения исходного распределения данных. Случайная недовыборка мажоритарного класса до соотношения 1:1 приведет к потере огромного количества данных (99%), что крайне нежелательно, так как это может лишить модель ценной информации. Использование Athena для SMOTE-подобной генерации во время запроса не является стандартной или эффективной практикой и может быть сложным в реализации. Отключение ранней остановки и увеличение скорости обучения на несбалансированных данных, скорее всего, приведет к переобучению на мажоритарном классе или нестабильному обучению.