Art. 17 EU AI Act: Qualitätsmanagementsystem für Anbieter

Die meisten Pflichten für Hochrisiko-KI in der Verordnung (EU) 2024/1689 beschreiben, was ein einzelnes System leisten muss — Risikomanagement, Datenqualität, technische Dokumentation. Artikel 17 beschreibt etwas anderes: wie eine Organisation dafür sorgt, dass diese Anforderungen nicht zufällig, sondern systematisch erfüllt werden. Er verlangt von jedem Anbieter eines Hochrisiko-KI-Systems ein Qualitätsmanagementsystem. Damit verschiebt sich die Perspektive vom Produkt auf den Prozess — und genau dort entscheidet sich, ob Konformität ein einmaliger Kraftakt bleibt oder zur wiederholbaren Routine wird.

Vom einzelnen System zur organisatorischen Pflicht

Art. 17 Abs. 1 verpflichtet Anbieter von Hochrisiko-KI-Systemen, ein Qualitätsmanagementsystem (QMS) einzurichten, das die Einhaltung der Verordnung sicherstellt. Entscheidend ist die Form, die der Gesetzgeber vorschreibt: Das System muss systematisch und geordnet dokumentiert sein — in Form schriftlicher Richtlinien, Verfahren und Anweisungen. Ein gelebtes, aber undokumentiertes Vorgehen genügt nicht; ebenso wenig ein Aktenordner ohne gelebte Praxis dahinter.

Diese Doppelanforderung — dokumentiert und implementiert — ist kein Zufall. Sie macht aus dem QMS die Brücke zwischen den materiellen Pflichten der Verordnung und ihrer tatsächlichen Umsetzung im Tagesgeschäft. Wo Art. 9 das Risikomanagement und Art. 11 die technische Dokumentation für das einzelne System verlangen, sorgt Art. 17 dafür, dass eine Organisation überhaupt die Strukturen hat, in denen solche Nachweise zuverlässig und reproduzierbar entstehen.

Die dreizehn Pflichtbestandteile

Art. 17 bleibt nicht abstrakt. Absatz 1 listet die Aspekte auf, die das QMS mindestens abdecken muss — eine Aufzählung von (a) bis (m), die den gesamten Lebenszyklus eines Hochrisiko-Systems umspannt.

Am Anfang steht eine Strategie zur Einhaltung der Regulierungsvorschriften, einschließlich der Konformitätsbewertungsverfahren und der Verfahren zum Umgang mit Änderungen am System. Es folgen Techniken und systematische Maßnahmen für Design, Designkontrolle und Designprüfung sowie für Entwicklung, Qualitätskontrolle und Qualitätssicherung. Hinzu kommen die Prüf-, Test- und Validierungsverfahren, die vor, während und nach der Entwicklung durchzuführen sind — inklusive der Häufigkeit, mit der sie stattfinden — und die anzuwendenden technischen Spezifikationen und Normen.

Den Kern bilden die Verfahren zur Datenverwaltung über den gesamten Zyklus von Erhebung über Kennzeichnung und Speicherung bis zur Aggregation, das Risikomanagementsystem nach Art. 9, die Einrichtung und Pflege eines Systems zur Beobachtung nach dem Inverkehrbringen nach Art. 72 sowie die Verfahren zur Meldung schwerwiegender Vorfälle nach Art. 73. Welche Systeme überhaupt unter diese Anbieterpflichten fallen, lässt sich vorab über hochrisiko-ki.com einordnen.

Den Abschluss bilden organisatorische Vorkehrungen: die Kommunikation mit den zuständigen nationalen Behörden und benannten Stellen, Systeme zur Aufzeichnung sämtlicher relevanter Dokumentation, das Ressourcenmanagement einschließlich versorgungssicherheitsbezogener Maßnahmen und schließlich ein Rechenschaftsrahmen, der die Verantwortlichkeiten der Leitung und der übrigen Mitarbeitenden festlegt. Diese letzte Anforderung ist leicht zu übersehen und zugleich oft die schwierigste: Sie verlangt, dass Verantwortung für KI-Konformität benannt und nicht diffus verteilt ist.

Verhältnismäßigkeit ohne Substanzverlust

Art. 17 Abs. 2 erkennt an, dass ein QMS nicht für jede Organisation gleich aussehen kann. Die Umsetzung der genannten Aspekte muss verhältnismäßig zur Größe der Organisation des Anbieters sein. Das schafft Spielraum für kleinere Anbieter und Start-ups, die nicht dieselben Strukturen wie ein Großkonzern aufbauen können.

Die Grenze dieses Spielraums ist allerdings klar gezogen: Anbieter müssen in jedem Fall den erforderlichen Grad an Strenge und das erforderliche Schutzniveau einhalten. Verhältnismäßigkeit betrifft also den organisatorischen Aufwand der Umsetzung, nicht das inhaltliche Ergebnis. Ein kleines Team darf seine Verfahren schlanker gestalten — es darf sie nicht weglassen. Wer die Verhältnismäßigkeitsklausel als Einladung zur Lückenhaftigkeit liest, missversteht ihren Zweck.

Eine zweite Erleichterung adressiert Überschneidungen mit bestehendem Recht. Nach Art. 17 Abs. 3 können Anbieter, die bereits aufgrund sektoralen Unionsrechts zu einem Qualitätsmanagementsystem oder einer gleichwertigen Funktion verpflichtet sind, die hier geforderten Aspekte in dieses bestehende System integrieren. Für Finanzinstitute, die internen Governance-Anforderungen des Finanzdienstleistungsrechts der Union unterliegen, gilt die Pflicht durch Einhaltung jener Regeln als erfüllt. Doppelte Strukturen sind also nicht gefordert — wohl aber, dass die spezifischen KI-Aspekte tatsächlich abgedeckt sind.

Warum das QMS das Rückgrat von belastbarer Evidenz ist

Die Liste in Art. 17 Abs. 1 liest sich technisch, doch ihr gemeinsamer Nenner ist Wiederholbarkeit. Ein einzelnes System kann man notfalls kurz vor einem Audit in Form bringen. Ein Portfolio aus mehreren Hochrisiko-Systemen, das über Jahre konform bleiben soll, lässt sich so nicht führen. Das QMS ist die Antwort der Verordnung auf diese Skalierungsfrage: Es verlagert die Konformität von der Heldentat Einzelner in nachvollziehbare Prozesse.

Genau hier liegt die Verbindung zu einem gelebten AI Management System nach AIMS (ISO 42001 × CMMI v3). Die Norm ISO/IEC 42001 beschreibt ein Managementsystem für künstliche Intelligenz, dessen Struktur sich mit den Anforderungen aus Art. 17 weitgehend deckt — von der Festlegung von Verantwortlichkeiten über das Risiko- und Datenmanagement bis zur kontinuierlichen Überwachung. Ein Anbieter, der ein solches Managementsystem aufbaut, erfüllt die organisatorische Pflicht aus Art. 17 nicht als zusätzliche Bürde, sondern als dessen praktische Umsetzung. Die CMMI-Reifegradperspektive ergänzt dabei die Frage, wie belastbar und reproduzierbar die geforderten Verfahren tatsächlich verankert sind.

Diese Logik gilt unabhängig vom Rechtsraum, in dem ein Anbieter sitzt — ob DE, EU27-Rest, UK oder CH —, sobald sein System auf dem EU-Markt bereitgestellt wird. Das QMS ist der Ort, an dem die einzelnen Nachweispflichten zusammenlaufen: Es liefert die Routinen, in denen Risikoanalysen, Testprotokolle, Datenherkunft und Änderungshistorie systematisch entstehen, statt im Nachhinein rekonstruiert zu werden.

Bis zum 02.12.2027 vom Projekt zum Prozess

Bis zum Wirksamwerden der Durchsetzung am 02.12.2027 (Digital Omnibus) bleibt Organisationen Zeit, ihr Qualitätsmanagement von einem einmaligen Compliance-Projekt in einen dauerhaften Prozess zu überführen. Ein QMS lässt sich nicht über Nacht etablieren: Richtlinien müssen geschrieben, Verantwortlichkeiten zugewiesen und Verfahren so eingeübt werden, dass sie auch unter Last funktionieren. Wer erst kurz vor der Konformitätsbewertung beginnt, wird feststellen, dass ein Managementsystem nicht das ist, was man am Ende vorlegt — sondern das, was die vorzeigbaren Nachweise überhaupt erst erzeugt.

Art. 17 ist deshalb mehr als eine Organisationsvorschrift. Er ist der Punkt, an dem ein Anbieter seine Vertrauenswürdigkeit nicht für ein einzelnes System, sondern als verlässliche Eigenschaft seiner Organisation verankert. Genau dort setzt evidenzbasierter AI Trust an: nachweisbar, audit-ready — nicht als Versprechen, sondern als durchgängig dokumentierte und gelebte Praxis. Mehr zur AEGIRA Trust-Platform: aegira.ai.