Uno scienziato dei dati utilizzerà SageMaker k-means per segmentare i clienti e deve scegliere il numero ottimale di cluster (k). Quale approccio di visualizzazione identificherà in modo più affidabile il miglior k?

Il metodo del "gomito" (elbow method) è una tecnica comune e affidabile per determinare il numero ottimale di cluster (k) in k-means. Si esegue k-means per un intervallo di valori di k, si calcola la somma degli errori quadratici (SSE) per ciascun k e si traccia SSE rispetto a k. Il punto in cui la diminuzione di SSE rallenta significativamente, formando un "gomito" nel grafico, indica il k ottimale, poiché aggiungere più cluster oltre questo punto non riduce sostanzialmente la varianza intra-cluster. Le altre opzioni sono meno affidabili: L'uso della PCA per visualizzare i cluster può essere fuorviante se i primi due componenti non catturano sufficiente varianza o se i cluster non sono ben separabili in due dimensioni. La PCA per la varianza spiegata serve a ridurre la dimensionalità, non a determinare k per il clustering. t-SNE è una tecnica di riduzione della dimensionalità per la visualizzazione, non per la determinazione diretta di k. La "perplessità" è un parametro di t-SNE, non un indicatore diretto del numero di cluster.