ISO/IEC 42001 Lead Auditor

Zehn Beispielfragen aus der Prüfung

Je eine pro Kompetenzbereich, genau wie im Simulator.

1. Grundlegende Auditkonzepte und -prinzipien

   Ein Auditteam bereitet ein Zertifizierungsaudit eines KI-Managementsystems vor. Es möchte ein Textanalysewerkzeug auf die Modelldokumentation der auditierten Organisation anwenden, dieses mit einem durch ein Automatisierungsskript erzeugten Datenextrakt speisen und einen generativen Assistenten Zusammenfassungen für die Arbeitspapiere entwerfen lassen. Welche Position sollte die Auditteamleitung vertreten?

   1. Die Werkzeuge zulassen, aber verlangen, dass jedes Ergebnis anhand der eigenen Aufzeichnungen der auditierten Organisation verifiziert wird, bevor es in ein Arbeitspapier aufgenommen oder zur Begründung einer Feststellung verwendet wird; für die Schlussfolgerung ist das Team verantwortlich.
   2. Alle drei Werkzeuge untersagen, weil mit automatisierter Unterstützung erzeugtes Material bei einem Zertifizierungsaudit grundsätzlich nicht berücksichtigt werden dürfe und nur Aufzeichnungen verwendet werden dürften, die ein Auditor persönlich gelesen hat.
   3. Das Analyseergebnis als eigenständigen dokumentierten Auditnachweis behandeln, Werkzeug, Anbieter und Version im Bericht nennen und die Prüfung der zugrunde liegenden Aufzeichnungen entsprechend reduzieren.
   4. Die Modelldokumentation an einen öffentlich zugänglichen generativen Dienst übermitteln, nachträglich die Zustimmung einholen und Werkzeug, Prompt und Datum dokumentieren.

2. Vorbereitung eines ISO/IEC 42001-Audits

   Eine Zertifizierungsstelle plant für das Stufe-2-Audit einer Organisation vier Tage vor Ort ein. Die Organisation betreibt elf KI-Systeme an drei Standorten, darunter ein klinisches Triage-Modell. Die Auditteamleitung kommt zu dem Schluss, dass vier Tage keine angemessene Bewertung des KI-Managementsystems erlauben. Welche Vorgehensweise ist fachlich vertretbar?

   1. Das Auditteam darf den Auftrag ablehnen, weil eine für die angemessene Bewertung des Managementsystems zu kurze Dauer das Audit undurchführbar macht; zunächst legt es der Zertifizierungsstelle die Unterdeckung dar und schlägt dem Auditauftraggeber eine Alternative vor.
   2. Die vier Tage als ausreichend akzeptieren, weil sich die Dauer eines Zertifizierungsaudits allein aus der Beschäftigtenzahl der auditierten Organisation ergebe; Anzahl und technologische Vielfalt der betriebenen KI-Systeme sowie die Zahl der Standorte seien daher unerheblich.
   3. Den Auditumfang einseitig auf diejenigen KI-Systeme begrenzen, die das Team in den verfügbaren vier Tagen ohne Schwierigkeiten abdecken kann.
   4. Das Audit wie geplant innerhalb der vier Tage durchführen und den Zeitmangel im Auditbericht als Einschränkung vermerken.

3. Durchführung eines ISO/IEC 42001-Audits

   Während eines Stufe-2-Audits erhebt ein Auditor Auditnachweise dazu, wie Trainingsdaten vor ihrer Verwendung gekennzeichnet und geprüft werden. Die für die Datenannotation zuständige Person antwortet nur allgemein und beginnt anschließend, sich über das Budget des Annotationsteams zu beklagen. Welche Interviewtechnik sollte der Auditor im weiteren Gespräch anwenden?

   1. Die allgemeine Antwort akzeptieren, die Ausführungen zum Budget nicht unterbrechen und anschließend im schriftlichen Kennzeichnungsverfahren nach den im Gespräch fehlenden Einzelheiten suchen.
   2. Mit offenen Anschlussfragen die fehlenden Einzelheiten ermitteln, das Gespräch zurück zur Kennzeichnung lenken, die Antworten anschließend mit eigenen Worten wiedergeben und von der befragten Person bestätigen lassen.
   3. Die vorbereitete Fragenliste in der festgelegten Reihenfolge abarbeiten, jede Antwort wörtlich protokollieren und alle Unklarheiten bis zur Abschlussbesprechung zurückstellen.
   4. Die Frage so erneut stellen, dass sie die erwartete Antwort bereits vorgibt, damit die befragte Person zu den dokumentierten Schritten zurückkehrt, und die Antwort als Bestätigung protokollieren.

4. Abschluss eines ISO/IEC 42001-Audits

   Während das Auditteam seine Auditschlussfolgerungen vorbereitet, bittet die Leiterin für KI-Ethik der auditierten Organisation darum, zwei der vier Nichtkonformitäten als Verbesserungspotenziale zu erfassen; sie sagt eine Behebung innerhalb einer Woche zu. Anschließend legt sie eine unterzeichnete Modellfreigabeaufzeichnung vor, die dem Team bislang nicht bekannt war und zeigt, dass eine dritte Nichtkonformität auf einer unvollständigen Stichprobe beruht. Wie sollte die Auditteamleitung vorgehen?

   1. Der Umklassifizierung der beiden Nichtkonformitäten zustimmen, weil eine noch während der Auditwoche abgeschlossene Korrektur ihre Berichterstattung entbehrlich mache, und die Freigabeaufzeichnung als verspäteten Auditnachweis unberücksichtigt lassen.
   2. Die gesamte Meinungsverschiedenheit ohne eigene Schlussfolgerungen an den Zertifizierungsausschuss verweisen und diesen entscheiden lassen, welche Feststellungen bestehen bleiben.
   3. Beide Ersuchen ablehnen und die vier Nichtkonformitäten unverändert darstellen, weil nach Abschluss der Nachweiserhebung vorgelegte Auditnachweise die Auditschlussfolgerungen nicht mehr beeinflussen könnten.
   4. Die Umklassifizierung ablehnen, die neue Aufzeichnung jedoch prüfen und die betreffende Feststellung ändern, falls sie nicht mehr trägt.

5. Grundlagen eines KI-Managementsystems

   Ein Logistikunternehmen entwickelt intern ein Routingmodell, bezieht zwei weitere Modelle von Lieferanten und nutzt im gesamten Backoffice einen generativen Assistenten. Der dokumentierte Anwendungsbereich seines KI-Managementsystems umfasst ausschließlich das eigene Routingmodell. Die Norm ist unabhängig von Größe, Art und Beschaffenheit auf Organisationen anwendbar. Ist ein derart enger Anwendungsbereich zulässig, und wie verhält er sich zum Anwendungsbereich der Norm?

   1. Die Organisation bestimmt die Grenzen ihres eigenen Managementsystems. Ein enger Anwendungsbereich kann daher bestehen, wenn er mit den tatsächlichen Tätigkeiten des Unternehmens übereinstimmt und der Bericht eindeutig erkennen lässt, was ausgeschlossen wurde.
   2. Der Anwendungsbereich ist unzulässig, weil die Norm für jede Organisation gilt, die KI-Systeme entwickelt, bereitstellt oder nutzt; damit gehöre kraft Norm jedes KI-System des Unternehmens zum Managementsystem.
   3. Der Anwendungsbereich ist ohne Weiteres zulässig; die beiden zugekauften Modelle, der Assistent und ihre Lieferanten liegen vollständig außerhalb des Audits, sodass hierzu keine Auditnachweise geprüft, angefordert oder dokumentiert werden dürfen.
   4. Der Auditor sollte die Grenzen während des Audits bestimmen und auf die zugekauften Modelle, den Assistenten und alle künftig erworbenen Systeme erweitern, weil die Festlegung des Anwendungsbereichs Bestandteil des Zertifizierungsaudits sei.

6. Steuerung eines ISO/IEC 42001-Auditprogramms

   Die für das Auditprogramm zum KI-Managementsystem einer Zertifizierungsstelle verantwortliche Person berichtet einmal jährlich über dessen Wirksamkeit und verwendet nur einen Indikator: den Anteil der an den geplanten Terminen durchgeführten Audits. Im letzten Jahr betrug er 98 Prozent. Im selben Zeitraum erlitten zwei zertifizierte Kunden KI-Vorfälle, die später auf Maßnahmen zurückgeführt wurden, die in den Audits stichprobenartig geprüft und als wirksam bewertet worden waren. Welche Beurteilung des Programms ist am überzeugendsten?

   1. Das Programm wird nicht wirklich bewertet; die Vorfälle sind ein Signal, es anzupassen und die beteiligten Auditoren erneut zu beurteilen.
   2. Das Programm muss ersetzt werden: Vorfälle bei zertifizierten Kunden zeigten, dass seine Ziele von Anfang an unerreichbar gewesen seien und sich auch durch eine Überprüfung nicht retten ließen.
   3. Der Indikator reicht für die Überwachung aus; die Vorfälle seien Beschwerden, weshalb dem Programm lediglich ein Prozess zur Beschwerdebearbeitung hinzuzufügen sei.
   4. Das Programm ist wirksam, weil die termingerechte Durchführung das von der Programmleitung beeinflussbare Ergebnis sei; für Vorfälle blieben allein die zertifizierten Organisationen verantwortlich.

7. Anforderungen an das KI-Managementsystem

   Beim Stufe-2-Audit prüft der Auditor die Maßnahme aus Anhang A zur Verifizierung und Validierung von KI-Systemen, welche die Organisation in ihrer Erklärung zur Anwendbarkeit als anwendbar ausgewiesen hat. Die Organisation hat die Maßnahme mit einem eigenen Ansatz umgesetzt, der in mehreren Punkten von den Umsetzungshinweisen in Anhang B abweicht. Die Ergebnisse sind dokumentiert und die von der Organisation festgelegten Akzeptanzkriterien wurden erfüllt. Wie sollte der Auditor mit dieser Abweichung umgehen?

   1. Eine untergeordnete Nichtkonformität formulieren, weil Anhang B beschreibt, wie die Maßnahmen aus Anhang A umzusetzen sind, und ein anderer Weg nicht als Erfüllung gelten kann.
   2. Eine Verbesserungsmöglichkeit zur Angleichung an Anhang B formulieren, die Abweichung im Bericht vermerken und verlangen, die Akzeptanzkriterien in der Sprache der Hinweise neu zu schreiben.
   3. Die Maßnahme als ausgeschlossen vermerken, weil ihre Umsetzung auf einem anderen Weg inhaltlich einem Ausschluss gleichkommt, und eine Begründung dieses Ausschlusses in der Erklärung zur Anwendbarkeit verlangen.
   4. Die Maßnahme anhand ihrer festgelegten Anforderung und des dokumentierten Ansatzes der Organisation prüfen und verifizieren, dass die Umsetzungshinweise in Anhang B gemäß Abschnitt 6.1.3 berücksichtigt wurden; die Abweichung von einem vorgeschlagenen Umsetzungsweg ist für sich allein keine Nichtkonformität.

8. Grundlegende Auditkonzepte und -prinzipien

   Bei der Qualitätsprüfung eines abgeschlossenen Audits des KI-Managementsystems fragt die prüfende Person die Auditteamleitung, weshalb die Auditakte nicht zusichern kann, dass eine vorsätzlich gefälschte Modellbewertungsaufzeichnung mit Sicherheit entdeckt worden wäre. Wodurch wird der Grad der Sicherheit bestimmt, den ein Auditteam vermitteln kann?

   1. Keine Stichprobe schafft Gewissheit: Eine Prüfung kann eine Falschdarstellung verfehlen, interne Prozesse der auditierten Organisation können durch kollusives Zusammenwirken umgangen werden, und die meisten Auditnachweise sind überzeugend, aber nicht schlüssig.
   2. Gewissheit folge aus der Unabhängigkeit des Auditors. Ein Team ohne Interessenkonflikte, Risiken aus Vertrautheit oder Selbstprüfung erkenne daher jede verschleierte Tatsache.
   3. Die Zertifizierungsstelle lege den Grad in ihrem Auditprogramm fest, indem sie für jeden Kunden das mit dessen Zertifikaten verbundene Sicherheitsniveau bestimme; das Auditteam wende anschließend den vorgegebenen Wert an.
   4. Das Team hätte Gewissheit vermitteln können, wenn es eine umfangreichere Stichprobe gewählt hätte; schließlich beruhten Nichterkennungen immer nur auf der Stichprobengröße.

9. Vorbereitung eines ISO/IEC 42001-Audits

   Zwei Wochen vor einem Stufe-2-Audit informiert die auditierte Organisation die Auditteamleitung, dass sie weder die Trainingsdatenaufzeichnungen noch die Ergebnisse der Modellbewertung ihres KI-Systems zur Bonitätsbeurteilung bereitstellen werde. Sie halte die Informationen für zu sensibel, um sie einer externen Partei offenzulegen. Wie ist diese Situation einzuordnen?

   1. Als bereits geklärte Vertraulichkeitsfrage, weil die Auditoren einer Vertraulichkeitsverpflichtung unterliegen und die Aufzeichnungen daher ohne weitere Vereinbarungen prüfen dürfen.
   2. Als Frage des Auditumfangs, die durch den Ausschluss der Datenmanagementprozesse aus diesem Audit gelöst wird.
   3. Als sofort festzustellende Nichtkonformität gegen ISO/IEC 42001, Abschnitt 7.5, weil das Vorenthalten dokumentierter Informationen gegenüber einem Auditor bereits für sich eine Nichterfüllung darstelle.
   4. Als Frage der Durchführbarkeit des Audits, weil die betreffenden Maßnahmen ohne Informationszugang nicht validiert werden können; sie ist zu klären, bevor das Audit fortgesetzt wird.

10. Durchführung eines ISO/IEC 42001-Audits

    Für das Stufe-2-Audit einer Organisation, deren Beschäftigte überwiegend im Homeoffice arbeiten, schlägt das Auditteam vor, die dokumentierte Information in den Räumen der Zertifizierungsstelle zu prüfen und ein einziges Videogespräch mit der Leitung der KI-Governance zu führen. Die Standorte der Organisation sollen nicht besucht werden. Wie ist dieser Vorschlag zu beurteilen?

    1. Er ist vertretbar, weil Fernmethoden wie Dokumentenprüfung, Videointerviews, Bildschirmfreigabe und Fernzugriff auf die Plattform anerkannt sind. Die Beschäftigten arbeiten tatsächlich im Homeoffice und Entwurfs-, Entwicklungs- und Bereitstellungsaufzeichnungen liegen elektronisch vor; daher könnten Interviews, Stichproben und Nachweiserhebung vollständig von der Zertifizierungsstelle aus erfolgen.
    2. Eine vollständige Ferndurchführung ist vertretbar, sofern das Auditteam die gewählten Auditmethoden im Auditplan und Auditbericht dokumentiert.
    3. Eine Tätigkeit außerhalb der Kundenstandorte ist bei einem Überwachungsaudit vertretbar, nicht jedoch beim Erstzertifizierungsaudit eines KI-Managementsystems.
    4. Der Vorschlag ist ungeeignet: Stufe 2 findet an den Standorten des Kunden statt. Sie muss Auditnachweise zur Konformität mit sämtlichen Anforderungen, zur Leistung gegenüber Zielen und Vorgaben, zur Einhaltung gesetzlicher und vertraglicher Anforderungen, zur operativen Prozesslenkung, zu internen Audits und Managementbewertung sowie zur Verantwortung der Leitung für die Politik behandeln.

Beantworten Sie dieselben zehn Fragen im Simulator und sehen Sie die Erklärung zu jeder Option, auch zu den falschen. Er öffnet sich ohne Registrierung →

Zur offiziellen Prüfung: Format, Dauer und Anzahl der Fragen legt die zertifizierende Stelle fest; sie können sich ändern. Bitte prüfen Sie sie vor der Anmeldung in deren Unterlagen. Dieses Material trainiert die Norm, nicht die Prüfung einer bestimmten Stelle, und hilft daher auch bei einer Zertifizierung anderswo.