Un'azienda finanziaria ha implementato un modello di ML per prevedere l'abbandono dei clienti e dispone di una settimana di dati di produzione. Vogliono misurare l'accuratezza con cui il modello prevede l'abbandono rispetto ai risultati effettivi. Quale metrica dovrebbero usare?

Il punteggio F1 è la metrica più appropriata per valutare un modello di classificazione come quello che prevede l'abbandono dei clienti, specialmente quando le classi sono sbilanciate (ad esempio, molti clienti non abbandonano, pochi sì). Il punteggio F1 è la media armonica di precisione e richiamo, fornendo un equilibrio tra l'identificazione corretta dei casi positivi (richiamo) e la minimizzazione dei falsi positivi (precisione). L'errore quadratico medio (RMSE) è una metrica per problemi di regressione, non di classificazione. Il ritorno sull'investimento (ROI) è una metrica finanziaria per valutare la redditività di un progetto, non l'accuratezza di un modello di ML. Il punteggio BLEU è utilizzato per valutare la qualità delle traduzioni automatiche o la generazione di testo, non per la classificazione binaria.