Ein sicheres KI-Programm in Ihrer Organisation aufbauen

Ein Threat Model für eine App, ein Red-Team-Test für eine andere und eine Richtlinie, die kaum jemand gelesen hat: Das ist noch keine KI-Sicherheit. Sie entsteht erst, wenn die Teile ein Programm bilden — mit einer verantwortlichen Person, einem Geltungsbereich, einem wiederkehrenden Zyklus und Nachweisen, dass die Maßnahmen wirken. Die Lücke ist real. In der Studie von IBM zu Datenpannen 2025 meldeten 13 % der Organisationen Sicherheitsvorfälle bei KI-Modellen oder KI-Anwendungen, und 97 % davon hatten keine Zugriffskontrollen für KI. Von allen betroffenen Organisationen der Studie hatten 63 % keine KI-Governance-Richtlinie oder arbeiteten noch daran (Quelle: IBM und Ponemon Institute, Cost of a Data Breach Report 2025, ibm.com).

Dies ist Teil 5, der letzte Teil von Level 4 und unseres Lernpfads AI Security. Er führt die bisherigen Teile zusammen: die Rahmenwerke aus Teil 1, die Angriffsklassen aus Teil 2, die Datenschutztechniken aus Teil 3 und die Evals aus Teil 4. Sie lernen die acht Bausteine eines Programms kennen, wer wofür zuständig ist, wie Sie Ihren Reifegrad einschätzen, was in den ersten 90 Tagen zu tun ist und welche Kennzahlen Fortschritt zeigen. Der Onlineshop dieses Levels mit seinen vier KI-Systemen dient ein letztes Mal als Beispiel.

Ein Programm, kein Projekt

Ein Projekt endet. KI-Risiken nicht: Anbieter bringen neue Modelle heraus, Teams führen neue Tools ein, Angreifer passen sich an. Ein Programm funktioniert deshalb wie ein Managementsystem — der Plan-Do-Check-Act-Zyklus, den ISO/IEC 42001 nutzt, wie in Teil 1 zu den Governance-Rahmenwerken beschrieben. Sie planen Maßnahmen, setzen sie um, prüfen, ob sie wirken, und verbessern sie.

Den Inhalt müssen Sie nicht erfinden. Mehrere bekannte Leitfäden beschreiben, was dazugehört:

• Googles Secure AI Framework (SAIF, 2023) nennt sechs Kernelemente, von der Ausweitung bewährter Sicherheitsgrundlagen auf KI bis zur Einordnung von KI-Risiken in die Geschäftsprozesse.
• Die Guidelines for secure AI system development, 2023 veröffentlicht vom britischen NCSC und der US-Behörde CISA gemeinsam mit Partnerbehörden aus weiteren Ländern, decken vier Bereiche ab: sicheres Design, sichere Entwicklung, sichere Bereitstellung sowie sicherer Betrieb und Wartung.
• Der britische Code of Practice for the Cyber Security of AI (Januar 2025) legt 13 Grundsätze entlang des KI-Lebenszyklus fest, vom Design bis zur Außerbetriebnahme.

Zusammen mit dem NIST AI RMF aus Teil 1 sowie den OWASP Top 10 für LLM-Anwendungen und MITRE ATLAS aus früheren Levels geben sie Ihnen eine gemeinsame Sprache. Aufgabe des Programms ist es, daraus Routinen zu machen.

Acht Bausteine und ihre Verantwortlichen

Ein KI-Sicherheitsprogramm braucht acht Bausteine. Jeder braucht eine verantwortliche Person und erzeugt Nachweise:

Vier Bausteine verdienen einen genaueren Blick. Die Richtlinie sollte auf eine Seite passen: welche Tools freigegeben sind, welche Daten in welches Tool dürfen, wer einen neuen KI-Anwendungsfall genehmigt und wo man Probleme meldet. Eine kurze Richtlinie, die man sich merken kann, schützt mehr als eine lange, die niemand liest. Prüfen Sie sie mindestens zweimal im Jahr, denn die Tools ändern sich schnell.

Das Inventar muss auch KI enthalten, die niemand angemeldet hat: Tools, die Beschäftigte auf eigene Faust nutzen, KI-Funktionen, die Anbieter in vorhandener Software einschalten, und Modelle, die Teams herunterladen. Level 2 erklärt, wie Sie diese Schatten-KI finden, ohne daraus eine Schuldfrage zu machen. Die Reaktion auf Vorfälle braucht eigene Playbooks, denn KI-Vorfälle sehen anders aus: ein ausgelesener System-Prompt, eine vergiftete Wissensbasis, ein Agent, der versteckten Anweisungen gefolgt ist. Level 3 behandelt die Reaktion auf KI-Vorfälle. Gesetzliche Pflichten setzen hier Fristen. Nach der DSGVO muss eine Verletzung des Schutzes personenbezogener Daten der Aufsichtsbehörde möglichst binnen 72 Stunden gemeldet werden. Nach dem AI Act müssen Anbieter von Hochrisiko-Systemen schwerwiegende Vorfälle melden.

Die Überwachung hängt an den richtigen Protokollen. Level 3 hat aufgelistet, was ein Agent festhalten sollte und welche Eigenschaften Protokolle für eine Untersuchung brauchen. Auf Programmebene geht es um Abdeckung und Zuständigkeit. Schickt jedes System aus dem Inventar seine Protokolle an einen zentralen Ort, und können Sie die Protokolle zugekaufter Tools wenigstens exportieren? Wer prüft die Alarme, und wie schnell? Definieren Sie dann Alarme für die Muster aus Teil 2: viele fast gleiche Anfragen von einem Konto, plötzliche Verschiebungen in den Entscheidungen eines Modells oder Tool-Aufrufe zu ungewöhnlichen Zeiten.

Tools können mehrere Bausteine unterstützen, aber keines davon ist das Programm. Nach Angaben der Anbieter sichert und regelt Airia KI-Agenten, Modelle, Werkzeuge und Datenzugriffe mit Richtlinien und Prüfnachweisen. Sentaro prüft E-Mails auf Phishing, das durch KI überzeugender wird. Bitdefender schützt Firmengeräte vor Ransomware, Phishing und dateilosen Angriffen. Jedes davon ist eine Maßnahme innerhalb des Programms, mit einer verantwortlichen Person und einer Kennzahl. Weitere Tools finden Sie im Bereich AI Security.

AiriaSicherheit & Governance · KI ist der KernOrchestrierungsplattform für Unternehmen, um KI-Lösungen abgesichert zu bauen und zu verwalten. SentaroSicherheit & Governance · KI ist der KernE-Mail-Sicherheit für kleine und mittlere Unternehmen, die Kontext und Absicht von Nachrichten prüft und vor Phishing warnt. BitdefenderSicherheit & Governance · Software mit KI-FunktionenIT-Sicherheit für kleine und mittlere Unternehmen: Schutz vor Ransomware, Phishing und dateilosen Angriffen.

Kurzbeschreibungen aus unserem Tool-Vergleich, nach Angaben der Anbieter — nicht von ABXK getestet.

Wo stehen Sie? Ein einfaches Reifegradmodell

Ein Reifegradmodell hilft bei der Entscheidung, was als Nächstes kommt. Die fünf Stufen unten sind ein vereinfachtes Modell zur Orientierung, kein Standard:

1. Unsystematisch: KI ist im Einsatz, aber niemand hat den Überblick. Sicherheit hängt an Einzelpersonen.
2. Bewusst: Es gibt ein Inventar und eine erste Richtlinie, Verantwortliche sind benannt.
3. Definiert: Jedes neue KI-System bekommt eine Risikobewertung und folgt einem Standard für sichere Entwicklung. Playbooks für Vorfälle liegen vor.
4. Gemessen: Evals, Überwachung und Red-Team-Tests liefern Kennzahlen, und die Geschäftsleitung sieht sie regelmäßig.
5. Lernend: Vorfälle, Tests und Kennzahlen führen in einem stetigen Zyklus zu Änderungen; ein externes Audit, etwa nach ISO/IEC 42001, wird realistisch.

Um Ihre Stufe zu bestimmen, bewerten Sie jeden der acht Bausteine mit vier Fragen: Gibt es ihn? Ist er schriftlich festgehalten? Wird er befolgt? Wird er gemessen? Ihre Gesamtstufe bestimmen die schwächsten Bausteine, nicht die stärksten.

Der Shop steht auf Stufe 2: Er kennt seine vier KI-Systeme und hat eine Richtlinie, aber nur der Support-Assistent hat ein Threat Model durchlaufen. Sein Ziel für das nächste Quartal ist Stufe 3. Überspringen Sie keine Stufen. Kennzahlen ohne definierte Abläufe messen Chaos, und ein Audit vor Stufe 3 liefert vor allem eine Liste von Lücken.

Die ersten 90 Tage

Neunzig Tage sind ein realistischer Zeitraum, um eine Stufe aufzusteigen, wenn Sie sich auf wenige Systeme konzentrieren. Der Plan unten geht von einem kleinen Team aus: einer Sponsorin oder einem Sponsor aus der Geschäftsleitung, einer Leitung KI-Sicherheit und den Verantwortlichen der wichtigsten KI-Systeme.

Welche Systeme kommen zuerst? Ordnen Sie das Inventar mit vier Fragen. Trifft das System Entscheidungen über Menschen oder bereitet es sie vor? Berührt es personenbezogene oder vertrauliche Daten? Kann es ohne menschliche Prüfung handeln, etwa E-Mails senden oder Erstattungen auslösen? Können Kunden oder die Öffentlichkeit es erreichen? Jedes Ja erhöht die Priorität. Für das Inventar selbst kombinieren Sie die Quellen aus dem Level-2-Teil zu Schatten-KI, und fragen Sie nach der Nutzung, nicht nach Regelverstößen.

Beim Shop ist das riskanteste System das zugekaufte Tool, das Bewerbungen vorsortiert. Es bereitet Entscheidungen über Menschen vor und ist nach dem AI Act ein Hochrisiko-System. Deshalb bekommt es die erste vollständige Bewertung, eine Prüfung der Unterlagen des Anbieters und menschliche Aufsicht im Recruiting-Team. Der Support-Assistent folgt mit der Eval-Suite aus Teil 4.

Kennzahlen, die zeigen, ob das Programm wirkt

Gute Kennzahlen sind wenige, haben eine verantwortliche Person, zeigen einen Trend und führen zu einer Entscheidung. Zählen Sie keine Aktivitäten wie die Zahl geschriebener Richtlinien. Messen Sie stattdessen Abdeckung und Wirkung. Berichten Sie der Geschäftsleitung jedes Quartal im gleichen Format: Inventar, größte Risiken mit ihren Verantwortlichen, Trends der Kennzahlen, Vorfälle und nötige Entscheidungen. Das gleiche Format macht Trends sichtbar und hilft dem Sponsor zu handeln. Diese Kennzahlen sind ein guter Anfang: