Uno scienziato dei dati ha tracciato l'inerzia del clustering k-means (somma delle distanze al quadrato) per valori di k da 1 a 10. Basandosi sul "gomito" nel grafico, quale k è una scelta ragionevole?

L'inerzia, o somma delle distanze al quadrato (SSE), misura quanto i punti sono vicini al centroide del loro cluster. Un valore inferiore di inerzia indica cluster più densi e ben definiti. Il metodo del "gomito" (elbow method) consiste nel tracciare l'inerzia rispetto al numero di cluster (k) e scegliere il valore di k in cui la diminuzione dell'inerzia inizia a rallentare significativamente, formando un "gomito" nel grafico. Questo punto rappresenta un buon compromesso tra la riduzione dell'errore e la complessità del modello. Se l'inerzia diminuisce drasticamente da k=1 a k=4, e poi la diminuzione diventa meno ripida, k=4 è la scelta più ragionevole. Scegliere k=1 non permette alcuna clusterizzazione. k=7 o k=10 potrebbero portare a un overfitting o a cluster troppo piccoli e meno significativi, senza un guadagno sostanziale nella riduzione dell'inerzia rispetto a k=4.