Ein Data Scientist wird SageMaker k-means verwenden, um Kunden zu segmentieren, und muss die optimale Anzahl von Clustern (k) auswählen. Welcher Visualisierungsansatz identifiziert das beste k am zuverlässigsten?

Die Methode der Summe der quadrierten Fehler (SSE) in Kombination mit der „Ellenbogenmethode“ ist die zuverlässigste Methode zur Bestimmung der optimalen Anzahl von Clustern (k) für k-means. Wenn SSE gegen k aufgetragen wird, nimmt SSE mit zunehmendem k ab. Der „Ellenbogenpunkt“ ist der Punkt, an dem die Verringerung der SSE bei steigendem k deutlich abnimmt und die Kurve sich abflacht. Dies deutet darauf hin, dass zusätzliche Cluster über diesen Punkt hinaus nur noch geringfügige Verbesserungen der Clusterbildung bringen. Die anderen Optionen sind weniger zuverlässig: PCA-Streudiagramme mit den ersten beiden Komponenten können irreführend sein, da sie nur einen kleinen Teil der Gesamtvarianz erfassen und höherdimensionale Clusterstrukturen möglicherweise nicht korrekt darstellen. Das Plotten der erklärten Varianz gegen die Anzahl der PCA-Komponenten hilft bei der Auswahl der Anzahl der Komponenten für die Dimensionsreduktion, nicht aber direkt bei der Bestimmung des optimalen k für k-means. t-SNE-Plots sind nützlich für die Visualisierung von Clustern in hohen Dimensionen, aber die Wahl des Perplexitätswerts und die visuelle Bestimmung von k sind subjektiv und können zu inkonsistenten Ergebnissen führen.