Een data scientist gaat SageMaker k-means gebruiken om klanten te segmenteren en moet het optimale aantal clusters (k) kiezen. Welke visualisatiemethode zal het meest betrouwbaar de beste k identificeren?

De elleboogmethode (elbow method) is een veelgebruikte en betrouwbare techniek om het optimale aantal clusters (k) te bepalen voor k-means clustering. Door de Sum of Squared Errors (SSE) te plotten tegen verschillende waarden van k, zoek je naar het punt waar de afname van SSE significant vertraagt, wat lijkt op een elleboog. Dit punt duidt op een goede balans tussen het verminderen van de intra-cluster variantie en het voorkomen van te veel clusters. De andere opties zijn minder betrouwbaar. Het visualiseren van PCA-componenten (optie 1) kan subjectief zijn en is moeilijk te interpreteren bij meer dan twee dimensies. Het kiezen van k op basis van verklaarde variantie van PCA (optie 2) is niet direct gerelateerd aan de clusterstructuur in de originele dataruimte. t-SNE (optie 3) is een visualisatietechniek en geen methode voor het bepalen van het aantal clusters; de perplexity-waarde beïnvloedt de visualisatie, niet het optimale k.