ISO 42001 Klausel 9: Welche Kennzahlen ein AIMS braucht

Die meisten KI-Managementsysteme scheitern nicht an fehlenden Richtlinien. Sie scheitern daran, dass niemand sagen kann, ob die Richtlinien wirken. Genau hier setzt Klausel 9 der ISO/IEC 42001:2023 an: Leistungsbewertung. Sie verlangt, dass eine Organisation ihr AI Management System (AIMS) misst, intern auditiert und auf Leitungsebene bewertet — regelmäßig, nachvollziehbar und mit dokumentierten Ergebnissen.

In der Praxis ist Klausel 9 die Stelle, an der sich ein papierenes Managementsystem von einem funktionierenden trennt. Und sie ist die Klausel, an der Zertifizierungsauditoren am häufigsten Abweichungen feststellen, weil Organisationen zwar Prozesse beschrieben, aber keine Wirkungsmessung etabliert haben.

Was Klausel 9 tatsächlich verlangt

Klausel 9 gliedert sich in drei Teile. Klausel 9.1 (Überwachung, Messung, Analyse und Bewertung) verlangt, dass die Organisation festlegt: was gemessen wird, mit welchen Methoden, wann gemessen und wann ausgewertet wird — und wer dafür zuständig ist. Klausel 9.2 fordert ein internes Auditprogramm, das in geplanten Abständen prüft, ob das AIMS den eigenen Anforderungen und denen der Norm entspricht und wirksam umgesetzt ist. Klausel 9.3 verlangt die Managementbewertung durch die oberste Leitung, mit definierten Eingaben und dokumentierten Ergebnissen.

Entscheidend ist die Reihenfolge der Verben: festlegen, messen, analysieren, bewerten. Die Norm gibt keine Kennzahlen vor. Sie verlangt, dass die Organisation ihre eigenen Kennzahlen begründet aus Zielen und Risiken ableitet. Wer eine generische KPI-Liste aus einem Template übernimmt, erfüllt den Buchstaben, verfehlt aber den Zweck — und das fällt spätestens im Stage-2-Audit auf, wenn die Frage kommt, warum genau diese Kennzahl gewählt wurde.

Kennzahlen, die ein AIMS steuerbar machen

Brauchbare AIMS-Kennzahlen lassen sich in vier Ebenen ordnen. Sie sind kein Standard, sondern ein Denkraster — die konkrete Auswahl muss zum Risikoprofil der Organisation passen.

Abdeckung. Wie vollständig ist das Bild? Anteil der inventarisierten KI-Systeme gemessen an den tatsächlich im Einsatz befindlichen. Anteil der Systeme mit abgeschlossener Risikoklassifizierung. Anteil der Systeme mit benanntem verantwortlichem Owner. Ohne Abdeckungskennzahlen misst man nur den Teil der Realität, den man ohnehin kennt.

Prozesswirksamkeit. Wie zuverlässig laufen die Kernprozesse? Durchlaufzeit von der Meldung eines neuen KI-Systems bis zur abgeschlossenen Bewertung. Anteil der Systeme, deren Impact Assessment innerhalb des vorgesehenen Intervalls aktualisiert wurde. Anteil der Änderungen an produktiven Systemen, die den vorgesehenen Freigabepfad durchlaufen haben.

Ergebnisqualität. Was kommt am System selbst an? Anzahl und Schwere gemeldeter Vorfälle im Betrieb. Anteil der Systeme mit definierten und überwachten Leistungsschwellen. Anzahl der Fälle, in denen menschliche Aufsicht tatsächlich eingegriffen hat — eine Zahl, die konstant bei null liegt, ist selten ein gutes Zeichen, sondern meist ein Hinweis darauf, dass die Aufsicht nicht ausgeübt wird.

Korrekturfähigkeit. Schließt sich der Regelkreis? Anzahl offener Nichtkonformitäten, aufgeschlüsselt nach Alter. Anteil der Korrekturmaßnahmen, deren Wirksamkeit nachweislich überprüft wurde. Wiederholungsrate gleichartiger Befunde über Auditzyklen hinweg.

Der gemeinsame Nenner: Jede dieser Kennzahlen ist aus vorhandenen Nachweisen ableitbar. Kennzahlen, für die es keine Evidenzquelle gibt, sind Schätzungen — und Schätzungen sind im Audit wertlos.

Interne Audits: Stichprobe statt Selbstbestätigung

Klausel 9.2 wird häufig als Formalie behandelt: ein jährlicher Durchlauf, bei dem die Fachbereiche bestätigen, dass alles in Ordnung ist. Das erfüllt die Norm nicht. Ein internes Auditprogramm muss risikobasiert geplant sein — Bereiche mit hoher KI-Risikoexposition häufiger, unkritische Bereiche seltener. Die Auditoren müssen unabhängig vom geprüften Bereich sein; wer den Prozess selbst betreibt, kann ihn nicht objektiv auditieren.

Der praktische Wert interner Audits liegt darin, dass sie Abweichungen finden, bevor ein externer Auditor oder eine Marktüberwachungsbehörde sie findet. Ein internes Auditprogramm, das systematisch keine Befunde erzeugt, ist entweder zu oberflächlich angelegt oder wird nicht ernsthaft durchgeführt.

Managementbewertung: die Klausel mit Zähnen

Klausel 9.3 verpflichtet die oberste Leitung, das AIMS in geplanten Abständen zu bewerten — auf Basis definierter Eingaben: Status offener Maßnahmen aus früheren Bewertungen, Veränderungen bei internen und externen Themen mit Bezug zum AIMS, Rückmeldungen interessierter Parteien, Ergebnisse der Überwachung und Messung, Auditergebnisse, Status von Nichtkonformitäten und Korrekturmaßnahmen sowie Möglichkeiten zur kontinuierlichen Verbesserung. Die Ergebnisse müssen dokumentiert werden und Entscheidungen zu Änderungen und Ressourcen enthalten.

Damit ist die Managementbewertung mehr als ein Reporting-Termin. Sie ist der Punkt, an dem KI-Governance zur Leitungsverantwortung wird — und der Punkt, an dem die Kennzahlen aus Klausel 9.1 ihren Zweck erfüllen oder als Zahlenfriedhof entlarvt werden. Wenn eine Managementbewertung keine Entscheidung hervorbringt, war entweder die Datenlage zu dünn oder die Kennzahlen waren nicht entscheidungsrelevant.

Der Bezug zum EU AI Act

Der EU AI Act, Verordnung (EU) 2024/1689, verlangt an mehreren Stellen genau das, was Klausel 9 methodisch abbildet. Art. 17 fordert von Anbietern von Hochrisiko-KI-Systemen ein Qualitätsmanagementsystem, das ausdrücklich Verfahren zur Überwachung, Prüfung und Berichterstattung umfasst. Art. 72 verpflichtet Anbieter zu einem Post-Market-Monitoring-System, das die Leistung des Systems über den gesamten Lebenszyklus systematisch erfasst und auswertet. Art. 26 verlangt von Betreibern, den Betrieb von Hochrisiko-KI-Systemen zu überwachen. Details zu den Pflichten in dieser Klasse finden sich unter hochrisiko-ki.com.

Ein nach ISO 42001 betriebenes AIMS mit belastbarer Leistungsbewertung liefert die Struktur, in der diese Nachweise ohnehin entstehen. Eine Zertifizierung ersetzt die Konformitätsbewertung nach der Verordnung nicht — aber sie verhindert, dass zwei getrennte Nachweiswelten gepflegt werden müssen. Mit Blick auf den Enforcement-Termin am 02.12.2027 ist das kein Nebeneffekt, sondern der praktische Hebel: Wer die Messsystematik jetzt aufsetzt, hat bis dahin mehrere vollständige Auditzyklen mit echten Verlaufsdaten. Wer erst 2027 beginnt, hat einen Stichtag ohne Historie.

Was jetzt konkret zu tun ist

Der Einstieg ist unspektakulär: Nehmen Sie die drei bis fünf wichtigsten Ziele Ihres KI-Managementsystems und fragen Sie zu jedem, woran Sie erkennen würden, dass es nicht erreicht wird. Die Antwort ist Ihr Kennzahlenkandidat. Prüfen Sie dann, ob es für jeden Kandidaten eine Datenquelle gibt, die aus dem laufenden Betrieb gespeist wird — nicht aus einer Abfrage per E-Mail. Alles, was nur durch manuelles Nachfragen entsteht, wird im dritten Quartal nicht mehr erhoben.

Leistungsbewertung ist keine Berichtsübung. Sie ist der Mechanismus, mit dem aus dokumentierten Absichten nachweisbare Wirkung wird — und damit der Kern von evidenzbasiertem KI-Vertrauen.

Mehr zur AEGIRA Trust-Platform und zu nachweisbarer, audit-ready KI-Governance: aegira.ai