ISO/IEC 42001 Lead Auditor

Dieci domande di esempio tratte dall'esame

Una per area di competenza, esattamente come nel simulatore.

1. Concetti e principi fondamentali di audit

   Un gruppo di audit che prepara l'audit di certificazione di un sistema di gestione per l'intelligenza artificiale intende analizzare la documentazione dei modelli con uno strumento di analisi testuale, alimentato da un'estrazione ottenuta tramite uno script di automazione, e affidare a un assistente generativo le sintesi delle carte di lavoro. Quale posizione dovrebbe assumere il responsabile del gruppo?

   1. Consentire gli strumenti, richiedendo la verifica di ogni risultato rispetto alle registrazioni dell'organizzazione prima di inserirlo nelle carte di lavoro o usarlo per una risultanza, poiché la conclusione resta responsabilità del gruppo.
   2. Vietare i tre strumenti, perché il materiale prodotto con un ausilio automatizzato non è ammissibile in un audit di certificazione e sono utilizzabili soltanto le registrazioni lette personalmente da un auditor.
   3. Trattare il risultato dell'analisi come evidenza documentale autonoma, indicando nel rapporto strumento, fornitore e versione, e ridurre di conseguenza le verifiche delle registrazioni sottostanti.
   4. Inviare la documentazione dei modelli a un servizio generativo pubblico, ottenere il consenso successivamente e registrare strumento, prompt e data.

2. Preparazione di un audit ISO/IEC 42001

   Un organismo di certificazione propone quattro giorni in sede per l'audit di fase 2 di un'organizzazione che utilizza undici sistemi di IA in tre sedi, compreso un modello di triage clinico. Il responsabile del gruppo conclude che quattro giorni non consentono una valutazione adeguata del sistema di gestione per l'IA. Quale condotta è giustificabile?

   1. Svolgere l'audit nei quattro giorni previsti e riportare l'insufficienza del tempo come limitazione nel rapporto di audit.
   2. Accettare i quattro giorni come adeguati, poiché la durata di un audit di certificazione dipende esclusivamente dal numero di dipendenti dell'organizzazione, senza considerare il numero di sistemi di IA operativi, la diversità delle tecnologie e il numero di sedi interessate.
   3. Restringere unilateralmente il campo dell'audit ai sistemi di IA che il gruppo riesce a esaminare agevolmente nei quattro giorni disponibili.
   4. Il gruppo può rifiutare l'incarico, perché una durata che non consente una valutazione adeguata del sistema rende l'audit non fattibile; prima segnala l'insufficienza all'organismo di certificazione e propone un'alternativa al committente dell'audit.

3. Conduzione di un audit ISO/IEC 42001

   Durante un audit di fase 2, un auditor raccoglie evidenze su come i dati di addestramento vengano etichettati e controllati prima dell'uso. L'addetto all'annotazione risponde in termini generali, poi passa a lamentarsi del budget del gruppo. Quale tecnica di intervista dovrebbe applicare l'auditor nel resto dell'incontro?

   1. Accettare la risposta generale, lasciare che l'esposizione sul budget si concluda e leggere successivamente la procedura scritta di etichettatura per ricavare i dettagli non emersi nell'incontro.
   2. Porre domande aperte di approfondimento per ottenere i dettagli mancanti, riportare il colloquio sull'etichettatura, quindi riformulare le risposte e chiederne conferma all'addetto.
   3. Seguire l'elenco preparato nell'ordine prestabilito, trascrivere ogni risposta parola per parola e rinviare alla riunione di chiusura tutto ciò che resta poco chiaro.
   4. Riproporre la domanda formulandola in modo da includere già la risposta attesa, così da riportare l'addetto ai passaggi documentati, e registrare la risposta come conferma.

4. Chiusura di un audit ISO/IEC 42001

   Mentre il gruppo di audit prepara le conclusioni, la direttrice per l'etica dell'IA chiede al responsabile di registrare due delle quattro nonconformità come opportunità di miglioramento, promettendo di risolverle entro la settimana. Presenta poi una registrazione firmata del rilascio di un modello, non ancora esaminata, che mostra come una terza nonconformità si basi su un campione incompleto. Come dovrebbe procedere il responsabile?

   1. Rifiutare la riclassificazione ed esaminare la nuova registrazione, rivedendo la relativa risultanza se non è più sostenibile.
   2. Rimettere l'intero disaccordo al comitato di certificazione senza presentare conclusioni, lasciando al comitato la decisione su quali risultanze confermare.
   3. Rifiutare entrambe le richieste e presentare immutate le quattro nonconformità, perché evidenze prodotte dopo la fase di raccolta non possono influenzare le conclusioni.
   4. Accettare di riclassificare le due nonconformità, perché una correzione completata nella settimana dell'audit elimina la necessità di segnalarle, e accantonare la registrazione di rilascio perché arrivata troppo tardi.

5. Principi e concetti fondamentali del SGIA

   Una società di logistica sviluppa internamente un modello di instradamento, ne acquista altri due da fornitori e usa un assistente generativo nelle attività amministrative. Il campo documentato del sistema di gestione per l'IA comprende soltanto il modello sviluppato internamente. Considerando che la norma si rivolge a qualsiasi organizzazione, indipendentemente da dimensione, tipo e natura, un campo così delimitato è accettabile e come si rapporta all'applicabilità della norma?

   1. Il campo non è valido, perché la norma si applica a qualsiasi organizzazione che sviluppi, fornisca o utilizzi sistemi di IA; quindi tutti i sistemi di IA della società rientrano automaticamente nel sistema di gestione per effetto della norma.
   2. L'organizzazione determina i confini del proprio sistema di gestione: un campo ristretto può essere valido se coerente con le attività effettive, purché il rapporto espliciti ciò che ne resta escluso.
   3. Il campo è accettabile così com'è e i due modelli acquistati, l'assistente e i relativi fornitori sono interamente esclusi dall'audit: non è quindi possibile esaminare, richiedere o registrare evidenze che li riguardino.
   4. L'auditor dovrebbe definire i confini durante l'audit, estendendoli ai modelli acquistati, all'assistente e ai sistemi acquisiti successivamente, perché determinare il campo fa parte dell'audit di certificazione.

6. Gestione di un programma di audit ISO/IEC 42001

   Chi gestisce il programma di audit SGIA di un organismo di certificazione ne riferisce annualmente l'efficacia usando un solo indicatore: la percentuale di audit svolti nelle date previste, pari al 98% l'anno scorso. Nello stesso periodo due clienti certificati hanno subito incidenti di IA successivamente ricondotti a controlli campionati e giudicati conformi negli audit. Qual è il giudizio più solido sul programma?

   1. La valutazione è insufficiente; occorre esaminare gli incidenti per stabilire se modificare il programma e rivalutare le prestazioni degli auditor coinvolti.
   2. Occorre sostituire il programma: gli incidenti dimostrano che gli obiettivi erano irrealizzabili fin dall'inizio e non possono essere recuperati con un riesame.
   3. L'indicatore è adeguato al monitoraggio e gli incidenti sono reclami: basta quindi aggiungere al programma un processo di gestione dei reclami.
   4. Il programma è efficace; il rispetto delle scadenze è il risultato controllabile dal responsabile, mentre gli incidenti restano responsabilità delle organizzazioni certificate.

7. Requisiti del sistema di gestione dell'IA

   Nella fase 2, l'auditor esamina il controllo dell'allegato A sulla verifica e validazione dei sistemi di IA, dichiarato applicabile nella dichiarazione di applicabilità. L'organizzazione lo ha attuato con un approccio proprio, diverso sotto vari aspetti dalle indicazioni dell'allegato B; i risultati sono documentati e i criteri di accettazione definiti sono stati soddisfatti. Come dovrebbe trattare l'auditor questa differenza?

   1. Rilevare una nonconformità minore: l'allegato B stabilisce come attuare i controlli dell'allegato A e un percorso diverso non può essere considerato conforme.
   2. Rilevare un'opportunità di miglioramento raccomandando l'allineamento all'allegato B, annotare la differenza e chiedere di riscrivere i criteri di accettazione con le parole delle indicazioni.
   3. Verificare l'efficacia dell'approccio adottato e la considerazione delle indicazioni dell'allegato B richiesta da 6.1.3; una modalità diversa non prova una nonconformità.
   4. Registrare il controllo come escluso: attuarlo diversamente equivale sostanzialmente a escluderlo; chiedere quindi la giustificazione nella dichiarazione di applicabilità.

8. Concetti e principi fondamentali di audit

   Durante il riesame della qualità di un audit SGIA concluso, il revisore chiede al responsabile del gruppo perché il fascicolo non possa affermare che una registrazione di valutazione del modello deliberatamente falsificata sarebbe stata certamente individuata. Da cosa dipende il livello di assicurazione che il gruppo può offrire?

   1. Il gruppo avrebbe potuto offrire certezza scegliendo un campione più ampio, perché le mancate individuazioni dipendono sempre dalla dimensione del campione.
   2. La certezza deriva dall'indipendenza dell'auditor: un gruppo privo di conflitti d'interesse e di minacce dovute a familiarità o autoriesame individua qualsiasi elemento occultato.
   3. Il livello è stabilito dall'organismo di certificazione nel programma di audit, che fissa per ciascun cliente il grado di fiducia associato ai certificati; il gruppo applica il valore ricevuto.
   4. Nessun campione fornisce certezza: le verifiche possono non rivelare una falsa rappresentazione, la collusione può aggirare i processi interni e la maggior parte delle evidenze è persuasiva.

9. Preparazione di un audit ISO/IEC 42001

   Due settimane prima di un audit di fase 2, l'organizzazione comunica al responsabile del gruppo che non renderà disponibili le registrazioni dei dati di addestramento né i risultati di valutazione del proprio sistema di IA per il merito creditizio, perché li considera troppo sensibili per divulgarli all'esterno. Come dovrebbe qualificare la situazione il responsabile?

   1. Come una questione di riservatezza già risolta, poiché gli auditor sono vincolati da un impegno di riservatezza e possono quindi consultare le registrazioni senza ulteriori accordi.
   2. Come una questione relativa al campo dell'audit, da risolvere escludendo dall'audit i processi di gestione dei dati.
   3. Come una questione di fattibilità da risolvere prima di procedere, perché senza accesso alle informazioni non è possibile validare quei controlli.
   4. Come una nonconformità alla clausola 7.5 della ISO/IEC 42001 da rilevare immediatamente, perché negare informazioni documentate a un auditor costituisce di per sé il mancato soddisfacimento di un requisito.

10. Conduzione di un audit ISO/IEC 42001

    Per l'audit di fase 2 di un'organizzazione il cui personale lavora prevalentemente da casa, il gruppo propone un riesame documentale presso l'organismo e una sola videochiamata con il responsabile della governance dell'IA. Non prevede osservazioni delle attività operative né campionamento delle registrazioni di attuazione. Come va valutata la sufficienza della proposta?

    1. È accettabile: le registrazioni sono elettroniche e il responsabile della governance può illustrare da remoto il funzionamento del SGIA, consentendo al gruppo di confermare l'attuazione sulla base del riesame già svolto.
    2. È accettabile se piano e rapporto motivano la scelta dei metodi, così che chi decide la certificazione possa valutare la copertura dichiarata dal gruppo.
    3. È adeguata per la sorveglianza, la cui copertura più limitata consente di sostituire le verifiche operative con il riesame documentale e il colloquio con il responsabile.
    4. È insufficiente: il piano deve raccogliere evidenze dell'attuazione e dell'efficacia del SGIA, scegliendo metodi adeguati agli obiettivi e ai processi da verificare.

Risponda alle stesse dieci domande nel simulatore e legga la spiegazione di ogni opzione, anche di quelle errate. Si apre senza registrazione →

Sull'esame ufficiale: formato, durata e numero di domande sono stabiliti dall'organismo di certificazione e possono cambiare; li verifichi nei suoi documenti prima di iscriversi. Questo materiale allena sulla norma, non sull'esame di un organismo specifico, e per questo è utile anche per certificarsi altrove.