Компания обучает классификатор для обнаружения мошенничества с кредитными картами; около 2% транзакций являются мошенническими. Бизнес-приоритет — выявить как можно больше мошеннических транзакций. Какие метрики оценки должен оптимизировать специалист по данным? (Выберите два.)

Правильные ответы: F1 score и True positive rate (recall). Поскольку бизнес-приоритет — выявить как можно больше мошеннических транзакций, это означает, что модель должна иметь высокий показатель True Positive Rate (TPR), также известный как Recall (полнота). Recall измеряет долю фактически мошеннических транзакций, которые были правильно идентифицированы. F1-мера является гармоническим средним между Precision (точностью) и Recall. В условиях несбалансированных данных (2% мошеннических транзакций) и высокой стоимости пропуска мошенничества, F1-мера является более надежной метрикой, чем Accuracy, поскольку она учитывает как ложноположительные, так и ложноотрицательные результаты. Specificity (специфичность) измеряет долю правильно идентифицированных немошеннических транзакций, что не является главным приоритетом. False positive rate (частота ложноположительных срабатываний) измеряет долю немошеннических транзакций, ошибочно помеченных как мошеннические; хотя это важно, приоритет — обнаружение мошенничества. Accuracy (точность) может быть обманчива при несбалансированных данных, так как модель, которая всегда предсказывает "не мошенничество", будет иметь высокую точность, но пропустит все мошеннические случаи.