{"author":{"@type":"Person","name":"Alexander Bock","url":"https://abxk.ai/de/autor/alexander-bock/"},"categories":["AI Development"],"content":{"markdown":"Die meisten Daten in einem Unternehmen haben keine Labels. Niemand hat markiert, welche Kunden zusammengehören, welche Messwerte einer Maschine normal sind oder welche Dokumente dasselbe Thema behandeln. Das **unüberwachte Lernen** arbeitet genau mit solchen Daten. Es lernt nicht, eine bekannte Antwort vorherzusagen, sondern sucht Struktur: Gruppen ähnlicher Dinge oder eine einfachere Art, die Daten zu beschreiben.\n\nDies ist Teil 5 von Level 1 in unserem Lernpfad KI-Grundlagen. Wir kehren zu den handgeschriebenen Ziffern zurück, verraten den Verfahren diesmal aber nicht, welche Ziffer ein Bild zeigt. Sie erfahren, wie **k-Means-Clustering** Gruppen findet, warum die schwierigste Frage lautet, nach wie vielen Gruppen man suchen soll, und wie die **Hauptkomponentenanalyse (PCA)** jedes Bild von 64 Zahlen auf eine Handvoll verdichtet — und was das mit den Gruppen macht.\n\n## Wie k-Means Gruppen findet\n\nk-Means braucht von Ihnen eine Einstellung: die Zahl der Gruppen, genannt **k**. Dann wiederholt das Verfahren zwei einfache Schritte:\n\n1. **Zuordnen.** Jeder Datenpunkt kommt in die Gruppe mit der nächstgelegenen Mitte.\n2. **Aktualisieren.** Jede Gruppenmitte rückt in den Durchschnitt ihrer Mitglieder.\n\nZu Beginn werden die Mitten zufällig gesetzt. Nach einigen Runden ändern sich die Zuordnungen nicht mehr, und das Verfahren ist fertig. Weil das Ergebnis vom zufälligen Start abhängt, läuft es meist mehrmals, und der beste Lauf wird behalten. Wir haben zehn Läufe genutzt.\n\n![Drei Felder: links unbeschriftete Punkte mit drei zufällig gesetzten Mitten; in der Mitte ist jeder Punkt nach seiner nächstgelegenen Mitte eingefärbt; rechts sind die Mitten in die Mitte ihrer Gruppen gerückt](/images/learn/de/clustering-and-pca-steps.webp \"k-Means wiederholt zwei Schritte: jeden Punkt der nächsten Mitte zuordnen, dann jede Mitte in die Mitte ihrer Gruppe rücken.\")\n\n## Unser Experiment: zehn Gruppen, keine Labels\n\nWir haben k-Means nach zehn Gruppen in den {{\u003c num \"ml_experiments\" \"images\" \u003e}} Ziffernbildern suchen lassen, ohne Labels. Erst danach haben wir mit den Labels geprüft, was jede Gruppe enthält.\n\n{{\u003c data \"ml-kmeans\" \u003e}}\n\nManche Gruppen sind fast rein. Die Gruppe, die vor allem Nullen enthält, besteht zu {{\u003c num \"ml_experiments\" \"kmeans_best_purity_pct\" \u003e}} % aus Nullen, denn eine Null sieht nach nichts anderem aus. Andere Gruppen sind gemischt: In der Gruppe, in der die 8 am häufigsten ist, sind nur {{\u003c num \"ml_experiments\" \"kmeans_worst_purity_pct\" \u003e}} % der {{\u003c num \"ml_experiments\" \"kmeans_worst_size\" \u003e}} Bilder wirklich 8en. Fast alle übrigen, {{\u003c num \"ml_experiments\" \"kmeans_worst_second_n\" \u003e}} Bilder, sind 1en: Nach dem Abstandsmaß des Verfahrens liegen viele 1en näher an der durchschnittlichen 8 als an der durchschnittlichen 1. Die 1en verteilen sich auf mehrere Gruppen. Insgesamt landen {{\u003c num \"ml_experiments\" \"kmeans_majority_pct\" \u003e}} % der Bilder in der Gruppe ihrer eigenen Ziffer. Das ist beachtlich für ein Verfahren, das kein einziges Label gesehen hat — und zugleich eine Warnung: Gruppen, die ein Algorithmus findet, sind nach seinem Abstandsmaß ähnlich, nicht unbedingt nach der Bedeutung, die Ihnen wichtig ist.\n\n## Wie viele Gruppen? Die Verfahren sind uneins\n\nBei den Ziffern kennen wir die richtige Antwort: zehn. Bei echten Geschäftsdaten kennt sie niemand. Zwei verbreitete Verfahren sollen helfen.\n\nDie **Ellbogenmethode** lässt k-Means für viele Werte von k laufen und trägt auf, wie weit die Punkte insgesamt von ihren Gruppenmitten entfernt sind. Mehr Gruppen verringern diesen Abstand immer, also sucht man den „Ellbogen“: den Punkt, ab dem sich weitere Gruppen nicht mehr lohnen. Der **Silhouettenwert** prüft für jeden Punkt, ob er seiner eigenen Gruppe deutlich näher ist als der nächsten; ein höherer Durchschnitt bedeutet sauberere Gruppen.\n\n![Zwei Liniendiagramme für 2 bis 15 Gruppen: links fällt der Gesamtabstand zu den Gruppenmitten gleichmäßig, ohne deutlichen Knick; rechts steigt der Silhouettenwert bis zu einem Höchstwert bei 9 Gruppen und bleibt danach fast gleich](/images/learn/de/clustering-and-pca-elbow.webp \"Die Ellbogenmethode zeigt auf 8 Gruppen, der Silhouettenwert auf 9. Es gibt 10 Ziffern.\")\n\nAuf unseren Daten zeigte die Ellbogenmethode auf {{\u003c num \"ml_experiments\" \"elbow_k\" \u003e}} Gruppen, der Silhouettenwert auf {{\u003c num \"ml_experiments\" \"silhouette_k\" \u003e}}. Keines der beiden fand die wahren zehn. Die Kurve knickt nur sanft, und der beste Silhouettenwert, {{\u003c num \"ml_experiments\" \"silhouette_best\" \"2\" \u003e}} auf einer Skala von −1 bis 1, ist niedrig — die Gruppen überlappen also stark. Das ist typisch für echte Daten. Die Verfahren geben Ihnen einen Bereich zum Ausprobieren, doch die endgültige Zahl der Gruppen ist eine Entscheidung, die Sie danach treffen, wofür die Gruppen gedacht sind: Fünf Kundensegmente, mit denen ein Vertriebsteam arbeiten kann, können nützlicher sein als die zwölf, die etwas besser abschneiden.\n\n## PCA: dieselben Bilder in weniger Zahlen\n\nJedes Ziffernbild besteht aus 64 Zahlen, eine je Pixel. Doch die Pixel sind nicht unabhängig: Ist die Mitte einer 0 leer, sind ihre Nachbarn wahrscheinlich auch leer. Die **Hauptkomponentenanalyse (PCA)** nutzt das. Sie findet neue Richtungen in den Daten, die **Hauptkomponenten**, geordnet danach, wie viel der Unterschiede zwischen den Bildern sie erfassen. Die erste Richtung erfasst am meisten, die zweite am meisten vom Rest, und so weiter. Wer nur die ersten Richtungen behält, beschreibt jedes Bild mit weniger Zahlen und verliert dabei so wenig wie möglich.\n\n![Liniendiagramm: Anteil der Vielfalt zwischen den Ziffernbildern, den die ersten 1 bis 64 Hauptkomponenten erhalten; die Kurve steigt zunächst steil und überschreitet 50 Prozent bei 5 Komponenten, 90 Prozent bei 21 und 95 Prozent bei 29](/images/learn/de/clustering-and-pca-variance.webp \"Wie viel der Vielfalt zwischen den Bildern die ersten Hauptkomponenten erhalten.\")\n\nDie Kurve steigt zunächst steil. Schon {{\u003c num \"ml_experiments\" \"pca_for_50\" \u003e}} Richtungen erhalten {{\u003c num \"ml_experiments\" \"pca_5_pct\" \u003e}} % der Vielfalt, {{\u003c num \"ml_experiments\" \"pca_for_90\" \u003e}} mehr als 90 % und {{\u003c num \"ml_experiments\" \"pca_for_95\" \u003e}} mehr als 95 %. Die letzten Richtungen tragen fast nichts bei: Jede von ihnen beschreibt einen einzelnen Pixel am linken oder rechten Bildrand, und diese Pixel sind fast immer leer.\n\nDie ersten beiden Richtungen allein erhalten nur {{\u003c num \"ml_experiments\" \"pca_first2_pct\" \u003e}} % der Vielfalt, reichen aber, um den ganzen Datensatz auf eine flache Seite zu zeichnen. Auf dieser Karte bilden manche Ziffern klare Inseln: Nullen unten, Vieren rechts, Dreien links und Siebenen oben. Andere überlappen in der Mitte, darunter die 1en, 8en und 9en — die Ziffern, die k-Means am stärksten vermischt hat.\n\n![Streudiagramm: 600 Ziffernbilder nach ihren ersten beiden Hauptkomponenten; Nullen, Vieren, Dreien und Siebenen sind hervorgehoben und bilden getrennte Bereiche unten, rechts, links und oben, die übrigen Ziffern sind grau und überlappen in der Mitte](/images/learn/de/clustering-and-pca-map.webp \"600 Ziffernbilder auf den ersten beiden Hauptkomponenten. Vier Ziffern sind hervorgehoben, die übrigen grau.\")\n\n## Erst verdichten, dann gruppieren\n\nWeniger Zahlen je Bild machen jeden weiteren Schritt schneller und günstiger. Leiden aber die Gruppen darunter? Wir haben k-Means noch einmal laufen lassen, nachdem wir die Bilder mit PCA verdichtet hatten.\n\n{{\u003c data \"ml-pca\" \u003e}}\n\nMit nur zwei Richtungen ordnete k-Means lediglich {{\u003c num \"ml_experiments\" \"pk2_pct\" \u003e}} % der Bilder der Gruppe ihrer Ziffer zu, weil zu viel Information verloren ging. Mit {{\u003c num \"ml_experiments\" \"pca_for_90\" \u003e}} Richtungen lag das Ergebnis bei {{\u003c num \"ml_experiments\" \"pk21_pct\" \u003e}} % — so gut wie mit allen 64 Pixeln ({{\u003c num \"ml_experiments\" \"pk64_pct\" \u003e}} %), mit einem Drittel der Zahlen. Die Richtungen, die beim Verdichten wegfielen, trugen wenig, was für die Gruppen zählte. Deshalb sind PCA und verwandte Verfahren ein üblicher erster Schritt vor Clustering, Suche und Visualisierung. Die Embeddings, mit denen KI-Systeme Texte und Bilder vergleichen, folgen einer verwandten Idee: Sie beschreiben jedes Element mit einer Liste von Zahlen, in der ähnliche Elemente nah beieinanderliegen.\n\n| Frage | Clustering | PCA |\n|---|---|---|\n| Was tut es? | Ordnet Ähnliches in Gruppen | Beschreibt Daten mit weniger Zahlen |\n| Was wählen Sie? | Die Zahl der Gruppen | Die Zahl der behaltenen Richtungen |\n| Typischer Einsatz | Kundensegmente, Dokumente gruppieren, ungewöhnliche Fälle erkennen | Diagramme komplexer Daten, schnelleres Training, Rauschen entfernen |\n| Größtes Risiko | Gruppen, die nach Abstand ähnlich sind, aber nicht nach Bedeutung | Ein kleines, aber wichtiges Detail wegwerfen |\n\n## So haben wir das Experiment durchgeführt\n\nWir haben die Python-Bibliothek scikit-learn und die mitgelieferte Kopie des Ziffern-Datensatzes genutzt, mit allen {{\u003c num \"ml_experiments\" \"images\" \u003e}} Bildern und Pixelwerten, skaliert auf 0 bis 1. k-Means lief für jede Zahl von Gruppen zehnmal von verschiedenen zufälligen Starts, der beste Lauf wurde behalten. Um den Ellbogen automatisch zu finden, haben wir den Punkt genommen, der am weitesten unter einer Geraden vom ersten zum letzten Punkt der Kurve liegt. Die Labels dienten nur dazu, die Gruppen zu bewerten, nie dazu, sie zu bilden. Alle Zufallsentscheidungen nutzen einen festen Startwert, sodass die Zahlen auf dieser Seite bei jedem Lauf gleich herauskommen. Level 2 dieses Lernpfads wendet sich dem Deep Learning zu: was sich ändert, wenn Netze viele Schichten bekommen.","text":"Die meisten Daten in einem Unternehmen haben keine Labels. Niemand hat markiert, welche Kunden zusammengehören, welche Messwerte einer Maschine normal sind oder welche Dokumente dasselbe Thema behandeln. Das unüberwachte Lernen arbeitet genau mit solchen Daten. Es lernt nicht, eine bekannte Antwort vorherzusagen, sondern sucht Struktur: Gruppen ähnlicher Dinge oder eine einfachere Art, die Daten zu beschreiben.\nDies ist Teil 5 von Level 1 in unserem Lernpfad KI-Grundlagen. Wir kehren zu den handgeschriebenen Ziffern zurück, verraten den Verfahren diesmal aber nicht, welche Ziffer ein Bild zeigt. Sie erfahren, wie k-Means-Clustering Gruppen findet, warum die schwierigste Frage lautet, nach wie vielen Gruppen man suchen soll, und wie die Hauptkomponentenanalyse (PCA) jedes Bild von 64 Zahlen auf eine Handvoll verdichtet — und was das mit den Gruppen macht.\nWie k-Means Gruppen findet k-Means braucht von Ihnen eine Einstellung: die Zahl der Gruppen, genannt k. Dann wiederholt das Verfahren zwei einfache Schritte:\nZuordnen. Jeder Datenpunkt kommt in die Gruppe mit der nächstgelegenen Mitte. Aktualisieren. Jede Gruppenmitte rückt in den Durchschnitt ihrer Mitglieder. Zu Beginn werden die Mitten zufällig gesetzt. Nach einigen Runden ändern sich die Zuordnungen nicht mehr, und das Verfahren ist fertig. Weil das Ergebnis vom zufälligen Start abhängt, läuft es meist mehrmals, und der beste Lauf wird behalten. Wir haben zehn Läufe genutzt.\nk-Means wiederholt zwei Schritte: jeden Punkt der nächsten Mitte zuordnen, dann jede Mitte in die Mitte ihrer Gruppe rücken. Unser Experiment: zehn Gruppen, keine Labels Wir haben k-Means nach zehn Gruppen in den 1.797 Ziffernbildern suchen lassen, ohne Labels. Erst danach haben wir mit den Labels geprüft, was jede Gruppe enthält.\nk-Means mit zehn Gruppen, ohne Labels: Größe und Reinheit jeder Gruppe Häufigste Ziffer in der GruppeBilder in der GruppeAnteil dieser ZifferNächsthäufige Ziffern (Bilder) 017998,9 %2 (1), 6 (1) 416898,8 %0 (1), 5 (1) 618297,3 %1 (2), 8 (2) 515787,3 %8 (6), 9 (6) 719885,9 %4 (8), 3 (7) 318185,6 %2 (13), 9 (6) 217684,1 %1 (24), 8 (3) 18961,8 %9 (20), 8 (6) 924157,7 %8 (48), 5 (41) 822645,1 %1 (99), 2 (8) Quelle wie bei der ersten Tabelle dieser Seite.\nManche Gruppen sind fast rein. Die Gruppe, die vor allem Nullen enthält, besteht zu 98,9 % aus Nullen, denn eine Null sieht nach nichts anderem aus. Andere Gruppen sind gemischt: In der Gruppe, in der die 8 am häufigsten ist, sind nur 45,1 % der 226 Bilder wirklich 8en. Fast alle übrigen, 99 Bilder, sind 1en: Nach dem Abstandsmaß des Verfahrens liegen viele 1en näher an der durchschnittlichen 8 als an der durchschnittlichen 1. Die 1en verteilen sich auf mehrere Gruppen. Insgesamt landen 79,4 % der Bilder in der Gruppe ihrer eigenen Ziffer. Das ist beachtlich für ein Verfahren, das kein einziges Label gesehen hat — und zugleich eine Warnung: Gruppen, die ein Algorithmus findet, sind nach seinem Abstandsmaß ähnlich, nicht unbedingt nach der Bedeutung, die Ihnen wichtig ist.\nWie viele Gruppen? Die Verfahren sind uneins Bei den Ziffern kennen wir die richtige Antwort: zehn. Bei echten Geschäftsdaten kennt sie niemand. Zwei verbreitete Verfahren sollen helfen.\nDie Ellbogenmethode lässt k-Means für viele Werte von k laufen und trägt auf, wie weit die Punkte insgesamt von ihren Gruppenmitten entfernt sind. Mehr Gruppen verringern diesen Abstand immer, also sucht man den „Ellbogen“: den Punkt, ab dem sich weitere Gruppen nicht mehr lohnen. Der Silhouettenwert prüft für jeden Punkt, ob er seiner eigenen Gruppe deutlich näher ist als der nächsten; ein höherer Durchschnitt bedeutet sauberere Gruppen.\nDie Ellbogenmethode zeigt auf 8 Gruppen, der Silhouettenwert auf 9. Es gibt 10 Ziffern. Auf unseren Daten zeigte die Ellbogenmethode auf 8 Gruppen, der Silhouettenwert auf 9. Keines der beiden fand die wahren zehn. Die Kurve knickt nur sanft, und der beste Silhouettenwert, 0,19 auf einer Skala von −1 bis 1, ist niedrig — die Gruppen überlappen also stark. Das ist typisch für echte Daten. Die Verfahren geben Ihnen einen Bereich zum Ausprobieren, doch die endgültige Zahl der Gruppen ist eine Entscheidung, die Sie danach treffen, wofür die Gruppen gedacht sind: Fünf Kundensegmente, mit denen ein Vertriebsteam arbeiten kann, können nützlicher sein als die zwölf, die etwas besser abschneiden.\nPCA: dieselben Bilder in weniger Zahlen Jedes Ziffernbild besteht aus 64 Zahlen, eine je Pixel. Doch die Pixel sind nicht unabhängig: Ist die Mitte einer 0 leer, sind ihre Nachbarn wahrscheinlich auch leer. Die Hauptkomponentenanalyse (PCA) nutzt das. Sie findet neue Richtungen in den Daten, die Hauptkomponenten, geordnet danach, wie viel der Unterschiede zwischen den Bildern sie erfassen. Die erste Richtung erfasst am meisten, die zweite am meisten vom Rest, und so weiter. Wer nur die ersten Richtungen behält, beschreibt jedes Bild mit weniger Zahlen und verliert dabei so wenig wie möglich.\nWie viel der Vielfalt zwischen den Bildern die ersten Hauptkomponenten erhalten. Die Kurve steigt zunächst steil. Schon 5 Richtungen erhalten 54,5 % der Vielfalt, 21 mehr als 90 % und 29 mehr als 95 %. Die letzten Richtungen tragen fast nichts bei: Jede von ihnen beschreibt einen einzelnen Pixel am linken oder rechten Bildrand, und diese Pixel sind fast immer leer.\nDie ersten beiden Richtungen allein erhalten nur 28,5 % der Vielfalt, reichen aber, um den ganzen Datensatz auf eine flache Seite zu zeichnen. Auf dieser Karte bilden manche Ziffern klare Inseln: Nullen unten, Vieren rechts, Dreien links und Siebenen oben. Andere überlappen in der Mitte, darunter die 1en, 8en und 9en — die Ziffern, die k-Means am stärksten vermischt hat.\n600 Ziffernbilder auf den ersten beiden Hauptkomponenten. Vier Ziffern sind hervorgehoben, die übrigen grau. Erst verdichten, dann gruppieren Weniger Zahlen je Bild machen jeden weiteren Schritt schneller und günstiger. Leiden aber die Gruppen darunter? Wir haben k-Means noch einmal laufen lassen, nachdem wir die Bilder mit PCA verdichtet hatten.\nVerdichten mit PCA: behaltene Richtungen, erhaltene Vielfalt und k-Means danach Behaltene Richtungen (von 64)Erhaltene Vielfaltk-Means: Bilder in der Gruppe ihrer Ziffer 228,5 %59,4 % 554,5 %71,7 % 1380,3 %78,7 % 2190,3 %79,6 % 64100,0 %79,4 % Quelle wie bei der ersten Tabelle dieser Seite.\nMit nur zwei Richtungen ordnete k-Means lediglich 59,4 % der Bilder der Gruppe ihrer Ziffer zu, weil zu viel Information verloren ging. Mit 21 Richtungen lag das Ergebnis bei 79,6 % — so gut wie mit allen 64 Pixeln (79,4 %), mit einem Drittel der Zahlen. Die Richtungen, die beim Verdichten wegfielen, trugen wenig, was für die Gruppen zählte. Deshalb sind PCA und verwandte Verfahren ein üblicher erster Schritt vor Clustering, Suche und Visualisierung. Die Embeddings, mit denen KI-Systeme Texte und Bilder vergleichen, folgen einer verwandten Idee: Sie beschreiben jedes Element mit einer Liste von Zahlen, in der ähnliche Elemente nah beieinanderliegen.\nClustering und PCA: Struktur finden ohne Labels Frage Clustering PCA Was tut es? Ordnet Ähnliches in Gruppen Beschreibt Daten mit weniger Zahlen Was wählen Sie? Die Zahl der Gruppen Die Zahl der behaltenen Richtungen Typischer Einsatz Kundensegmente, Dokumente gruppieren, ungewöhnliche Fälle erkennen Diagramme komplexer Daten, schnelleres Training, Rauschen entfernen Größtes Risiko Gruppen, die nach Abstand ähnlich sind, aber nicht nach Bedeutung Ein kleines, aber wichtiges Detail wegwerfen So haben wir das Experiment durchgeführt Wir haben die Python-Bibliothek scikit-learn und die mitgelieferte Kopie des Ziffern-Datensatzes genutzt, mit allen 1.797 Bildern und Pixelwerten, skaliert auf 0 bis 1. k-Means lief für jede Zahl von Gruppen zehnmal von verschiedenen zufälligen Starts, der beste Lauf wurde behalten. Um den Ellbogen automatisch zu finden, haben wir den Punkt genommen, der am weitesten unter einer Geraden vom ersten zum letzten Punkt der Kurve liegt. Die Labels dienten nur dazu, die Gruppen zu bewerten, nie dazu, sie zu bilden. Alle Zufallsentscheidungen nutzen einen festen Startwert, sodass die Zahlen auf dieser Seite bei jedem Lauf gleich herauskommen. Level 2 dieses Lernpfads wendet sich dem Deep Learning zu: was sich ändert, wenn Netze viele Schichten bekommen.\n","words":1270},"date":"2026-10-18","description":"Wie k-Means Gruppen in Daten findet, die niemand beschriftet hat, warum die Zahl der Gruppen schwer zu wählen ist und wie PCA 64 Pixel auf wenige Zahlen verdichtet.","image":"https://abxk.ai/images/cover/clustering-and-pca.webp","json":"https://abxk.ai/de/ai-development/fundamentals/clustering-and-pca/index.json","kind":"page","language":"de","learning_path":{"category":"ai-development","level":1,"level_name":"Grundlagen"},"modified":"2026-10-18","related_tools":["Runpod","Pinecone","MindStudio"],"section":"ai-development","seo_title":"Clustering und PCA an einem echten Experiment erklärt","tags":["clustering","k-means","pca","unueberwachtes-lernen","grundlagen"],"title":"Clustering und PCA: Struktur finden ohne Labels","translations":[{"json":"https://abxk.ai/en/ai-development/fundamentals/clustering-and-pca/index.json","language":"en","url":"https://abxk.ai/en/ai-development/fundamentals/clustering-and-pca/"}],"url":"https://abxk.ai/de/ai-development/fundamentals/clustering-and-pca/"}