Viele Unternehmen nutzen mehr KI, als sie wissen. Ein Vertriebsteam probiert ein neues Tool zur Lead-Suche aus. Der Helpdesk schaltet eine KI-Funktion ein, die mit einem Update kam. Jemand verbindet einen Assistenten mit dem gemeinsamen Laufwerk. Jeder Schritt wirkt klein. Zusammen werfen sie Fragen auf, die niemand beantworten kann: Welche KI nutzen wir, mit welchen Daten, wer ist dafür verantwortlich, und was passiert, wenn etwas schiefgeht?
Dieser Artikel ist Teil 3 von Level 4 unseres Lernpfads AI Work. Level 0 hat Grundregeln für KI am Arbeitsplatz für Einzelne aufgestellt. Hier bauen Sie das Betriebsmodell dahinter: ein KI-Inventar, klare Rollen, einen Freigabeprozess mit Risikostufen, die Grundzüge der KI-Verordnung der EU, Dokumentation, Schulung und das Management der Anbieter.
Governance ist ein Betriebsmodell, kein Dokument
KI-Governance ist das Zusammenspiel von Rollen, Regeln und Routinen, das festlegt, welche KI ein Unternehmen wofür und unter welchen Kontrollen einsetzt. Eine Richtlinie ist nur ein Teil davon. Governance funktioniert, wenn sie jeden Tag vier Fragen beantwortet: Welche KI nutzen wir? Wer verantwortet jede Nutzung? Wie werden neue Nutzungen freigegeben? Wie bemerken wir, wenn etwas schiefgeht?
Gute Governance ist außerdem schnell. Dauert eine Freigabe drei Monate, nutzen die Leute trotzdem nicht freigegebene Tools. Man spricht von Schatten-KI. Das Ziel ist eine Schnellspur für Nutzungen mit geringem Risiko und eine sorgfältige Prüfung dort, wo das Risiko echt ist.
Zwei Rahmenwerke helfen beim Strukturieren. Das AI Risk Management Framework des NIST gliedert die Arbeit in vier Funktionen: Govern, Map, Measure und Manage. ISO/IEC 42001 beschreibt ein zertifizierbares Managementsystem für KI, ähnlich wie ISO/IEC 27001 für die Informationssicherheit. Sie müssen keines davon vollständig übernehmen, aber beide geben allen Beteiligten ein gemeinsames Vokabular (Quellen: NIST AI 100-1, AI Risk Management Framework 1.0, 2023, nist.gov; ISO/IEC 42001:2023, iso.org).
Mit einem KI-Inventar beginnen
Ein KI-Inventar, auch KI-Register genannt, verzeichnet jedes KI-System und jede KI-Nutzung im Unternehmen. Ohne Inventar können Sie weder Risiken bewerten noch Kundenfragen beantworten noch rechtliche Pflichten erfüllen. Legen Sie einen Eintrag je Anwendungsfall an, nicht je Anbieter. Derselbe Assistent kann beim Entwerfen von E-Mails harmlos sein und bei der Vorauswahl von Bewerbungen heikel.
Suchen Sie KI an drei Stellen: in Produkten, die Teams gekauft haben, in KI-Funktionen, die in vorhandener Software eingeschaltet wurden, und in KI, die Ihre eigenen Teams bauen. Die zweite Gruppe wird leicht übersehen. Unser Tool-Vergleich führt 131 Tools in vier Kategorien, und das Diagramm zeigt, wie oft die KI als Funktion einer Business-Software kommt und nicht als das Produkt selbst:
Füllen Sie das Inventar aus Einkaufsdaten, Protokollen des Single Sign-on und einer kurzen Umfrage. Bieten Sie eine Amnestie an: Wer ein Tool meldet, das er schon nutzt, wird dafür nicht bestraft. Sonst bleibt die Schatten-KI verborgen.
Jeder Rolle eine klare Aufgabe geben
Governance scheitert, wenn alle beteiligt sind und niemand verantwortlich ist. Fünf Rollen decken das Wesentliche ab:
- Use-Case-Verantwortliche: eine Führungskraft im Fachbereich, die den Nutzen will. Sie steht für Zweck, Daten, Nutzer und Ergebnisse gerade.
- KI-Governance-Leitung: steuert den Prozess, hält Inventar und Regeln aktuell und berichtet an die Geschäftsführung. In größeren Unternehmen entscheidet ein KI-Gremium mit Mitgliedern aus IT, Datenschutz, Recht und Fachbereichen über Fälle mit hohem Risiko.
- Prüfende: Datenschutzbeauftragte, IT-Sicherheit sowie Recht oder Compliance. Jede Stelle prüft ihren Bereich und setzt Auflagen.
- Betriebsrat oder Beschäftigtenvertretung: überall dort, wo KI Beschäftigte betrifft. In Deutschland bestimmt der Betriebsrat mit, wenn ein Unternehmen technische Einrichtungen einführt, die das Verhalten oder die Leistung der Beschäftigten überwachen können (§ 87 Abs. 1 Nr. 6 Betriebsverfassungsgesetz). Viele KI-Tools protokollieren, wer was getan hat — beziehen Sie den Betriebsrat deshalb früh ein.
- Nutzerinnen und Nutzer: halten die Regeln ein, prüfen Ergebnisse und melden Probleme.
Die Tabelle ordnet die wichtigsten Tätigkeiten nach dem RACI-Muster zu: R führt durch (Responsible), A entscheidet und steht dafür gerade (Accountable, nur einmal je Zeile), C wird vorher konsultiert (Consulted), I wird danach informiert (Informed).
| Tätigkeit | Use-Case-Verantwortliche | Governance-Leitung | Prüfende | Betriebsrat | Nutzer |
|---|---|---|---|---|---|
| Use Case beantragen | A, R | I | – | – | C |
| Risikostufe festlegen | C | A, R | C | – | – |
| Datenschutz, Sicherheit und Recht prüfen | C | I | A, R | I | – |
| Nutzung mit mittlerem oder hohem Risiko freigeben | R | A | C | C, wenn Beschäftigte betroffen sind | I |
| Inventareintrag aktuell halten | A, R | C | – | – | – |
| Nutzer schulen | A | R | C | I | I |
| Ergebnisse überwachen, Vorfälle melden | A, R | I | C | – | R |
| Jährlich prüfen oder stilllegen | A | R | C | I | I |
Neue Nutzungen nach Risikostufe freigeben
Nicht jede KI-Nutzung braucht dieselbe Prüfung. Ordnen Sie jeden Use Case beim Eingang einer Risikostufe zu, und lassen Sie die Stufe bestimmen, wie tief geprüft wird. Vier Stufen sind für Fachbereiche ein praktikabler Anfang:
Die Stufen sind eine interne Einteilung. Sie überschneiden sich mit der KI-Verordnung, sind aber an manchen Stellen strenger: Ein Support-Assistent, der Antworten mit Kundendaten entwirft, ist nach dem Gesetz kein Hochrisiko-System, verarbeitet aber personenbezogene Daten, und sein Ergebnis erreicht Kunden. Deshalb steht er in der mittleren Stufe. Auch KI, die in Ihren Systemen handelt, etwa ein Agent, der Bestellungen ändert, gehört mindestens in die mittlere Stufe. Teil 5 behandelt agentische Abläufe im Betrieb, und Level 3 zeigt, wie Sie die menschlichen Prüfungen gestalten: Human in the Loop.
Die Stufe bestimmt dann den Weg durch den Freigabeprozess:
Ein Antrag mit geringem Risiko und einem bereits freigegebenen Tool sollte Tage dauern, nicht Monate. Anträge mit mittlerem und hohem Risiko durchlaufen die volle Prüfung. Jede Freigabe kommt mit Auflagen, zum Beispiel „nur anonymisierte Daten“, „ein Mensch gibt jede Antwort frei“ oder „Überprüfung nach sechs Monaten“. Jede freigegebene Nutzung landet im Inventar. Ändern sich Daten, Modell oder Zweck, geht die Nutzung zurück in die Einstufung.
Die Grundzüge der KI-Verordnung kennen
Die KI-Verordnung der EU (AI Act, Verordnung (EU) 2024/1689) ist am 1. August 2024 in Kraft getreten und gilt schrittweise. Die meisten Fachbereiche sind Betreiber: Sie setzen KI-Systeme in eigener Verantwortung ein. Anbieter entwickeln KI-Systeme und bringen sie in Verkehr. Für Betreiber zählen vor allem diese vier Punkte:
| Regel | Was sie für Fachbereiche bedeutet | Gilt ab |
|---|---|---|
| KI-Kompetenz (Artikel 4) | Die KI-Kompetenz der Beschäftigten fördern, die mit KI-Systemen arbeiten | 2. Februar 2025 |
| Verbotene Praktiken (Artikel 5) | Zum Beispiel keine KI, die Emotionen von Beschäftigten am Arbeitsplatz ableitet (außer aus medizinischen oder Sicherheitsgründen), und kein Social Scoring | 2. Februar 2025 |
| Transparenz (Artikel 50) | KI-Systeme, die mit Menschen sprechen, müssen erkennen lassen, dass sie KI sind, sofern das nicht offensichtlich ist; Deepfakes müssen gekennzeichnet werden | 2. August 2026 |
| Hochrisiko-Nutzungen (Anhang III) | Nutzungen wie Personalauswahl, Leistungsbewertung oder Kreditwürdigkeitsprüfung von Personen bringen Pflichten für Betreiber, etwa menschliche Aufsicht, Überwachung, Aufbewahrung von Protokollen und die Information der Beschäftigtenvertretung vor dem Einsatz am Arbeitsplatz | 2. Dezember 2027 |
Der Termin für Hochrisiko-Nutzungen wurde 2026 durch eine Änderung verschoben (Verordnung (EU) 2026/1744, der „digitale Omnibus zur KI“). Dieselbe Änderung hat Artikel 4 neu gefasst: Unternehmen müssen Maßnahmen ergreifen, um die KI-Kompetenz ihrer Beschäftigten zu fördern, ein bestimmtes Niveau bei jeder einzelnen Person müssen sie aber nicht garantieren. Nutzen Sie die Tabelle zur Orientierung, nicht als Rechtsberatung, und prüfen Sie den aktuellen Stand mit Ihrer Rechtsabteilung. Für die Datenverarbeitung gilt zusätzlich die DSGVO: Eine Verarbeitung personenbezogener Daten mit hohem Risiko braucht eine Datenschutz-Folgenabschätzung (Artikel 35). Unser Bereich AI Security vertieft Bedrohungen wie Datenabfluss und manipulierte Eingaben und die Kontrollen, die davor schützen.
Dokumentieren, schulen, Anbieter steuern
Drei Routinen halten die Governance nach der Freigabe lebendig.
Dokumentation. Führen Sie für jeden Use Case mit mittlerem oder hohem Risiko eine kurze Akte: Zweck, Daten, Risikostufe und Bewertung, Testergebnisse, wie die menschliche Aufsicht funktioniert, Anleitung für Nutzer, ein Änderungsprotokoll und Vorfälle. Schreiben Sie so, dass jemand außerhalb des Teams in zehn Minuten versteht, wie das System genutzt und kontrolliert wird.
Schulung. Alle, die KI nutzen, brauchen die Grundlagen: was die Tools können und was nicht, welche Daten hineindürfen und wie man Ergebnisse prüft. Verantwortliche und Prüfende brauchen mehr: wie man Risiken bewertet, menschliche Aufsicht gestaltet und Testergebnisse liest. Wiederholen Sie die Schulung, wenn sich Tools oder Regeln ändern.
Anbietermanagement. Kauft ein Team KI ein, wird der Anbieter Teil Ihres Kontrollsystems. Prüfen Sie vor dem Vertrag den Vertrag zur Auftragsverarbeitung, den Speicherort der Daten, ob der Anbieter Modelle mit Ihren Daten trainiert, seine Unterauftragsverarbeiter, Aufbewahrung und Löschung sowie Zertifizierungen wie ISO/IEC 27001 oder einen SOC-2-Bericht. Level 2 geht diese Prüfung Schritt für Schritt durch: KI-Tools für Ihr Team auswählen. Vereinbaren Sie im Vertrag die Ankündigung wesentlicher Änderungen, etwa eines neuen zugrunde liegenden Modells, die Meldung von Vorfällen, den Datenexport und Ausstiegsbedingungen. Nach Vertragsschluss prüfen Sie jeden Anbieter einmal im Jahr.
Produkte mit Kundenkontakt brauchen besondere Sorgfalt, denn ihre Ergebnisse erreichen Menschen direkt. Nach Angaben der Anbieter verbindet Tidio einen KI-Agenten mit Live-Chat und Ticketsystem, und Vida betreibt KI-Telefonagenten, die Anrufe annehmen und Termine vereinbaren. Solche Nutzungen landen typischerweise in der mittleren Stufe: Sorgen Sie dafür, dass Kunden erfahren, dass sie es mit einer KI zu tun haben, und jederzeit einen Menschen erreichen. Plattformen können auch die Governance-Arbeit selbst unterstützen: Nach Angaben der Anbieter ist Airia eine Plattform, mit der Unternehmen KI-Lösungen sicher bauen und verwalten, und Evolve erstellt Schulungen, passt sie an jede lernende Person an und misst die Ergebnisse.
Kurzbeschreibungen aus unserem Tool-Vergleich, nach Angaben der Anbieter — nicht von ABXK getestet.
Messen, ob die Governance wirkt
Governance soll Wirkung zeigen, nicht nur auf dem Papier stehen. Fünf Kennzahlen zeigen, ob sie funktioniert, und ein 90-Tage-Plan bringt sie in Gang:
| Kennzahl | Was sie zeigt | Warnzeichen |
|---|---|---|
| Anteil der KI-Nutzungen im Inventar | Wie sichtbar die KI-Nutzung ist | Jeden Monat taucht KI außerhalb des Inventars auf |
| Freigabedauer je Risikostufe | Ob die Schnellspur funktioniert | Anträge mit geringem Risiko warten wochenlang |
| Überfällige Prüfungen | Ob die Routinen laufen | Prüfungen werden immer wieder verschoben |
| Schulungsquote | Ob die KI-Kompetenz wächst | Menschen nutzen freigegebene Tools ohne jede Schulung |
| Vorfälle und Beinahe-Vorfälle | Ob Kontrollen Probleme erkennen | Kunden finden Probleme vor Ihren Kontrollen |