Модель обнаружения мошенничества с кредитными картами должна выявлять как можно больше мошеннических транзакций (положительных результатов); только около 2% транзакций являются мошенническими. Какие две метрики оценки должен оптимизировать специалист по данным, чтобы приоритизировать выявление положительных результатов?

Поскольку мошеннические транзакции (положительные результаты) составляют всего 2% данных, набор данных сильно несбалансирован. В таких случаях метрики, такие как точность (accuracy), могут вводить в заблуждение, поскольку модель может достичь высокой точности, просто классифицируя все транзакции как немошеннические. Частота истинноположительных результатов (True Positive Rate, TPR), также известная как полнота (recall) или чувствительность (sensitivity), измеряет долю фактически положительных случаев, которые были правильно идентифицированы. Оптимизация TPR гарантирует, что модель обнаруживает как можно больше мошеннических транзакций. Площадь под кривой точность-полнота (Area Under the Precision-Recall Curve, AUPRC) особенно полезна для несбалансированных наборов данных, поскольку она фокусируется на производительности модели по отношению к положительному классу. Высокое значение AUPRC указывает на хорошую производительность в обнаружении положительных случаев. Специфичность (Specificity) и частота ложноположительных результатов (False Positive Rate, FPR) больше ориентированы на отрицательный класс, что менее критично в данном сценарии, где приоритетом является обнаружение мошенничества. Точность (Accuracy) не подходит из-за несбалансированности данных.