Per InfoCert S.p.A.: Registrazioni log. Tra i “Principi per l’adozione dell’IA nella pubblica amministrazione” elencati nelle LLGG figura (nel paragrafo 3.4) il principio P.14 “Registrazioni (logging)”:“le PA adottano sistemi di IA dotati di adeguati meccanismi di registrazione necessari a tracciare e conservare nel tempo le operazioni svolte”.
Nel paragrafo 5.1 “Monitoraggio del ciclo di vita delle soluzioni di IA” si precisa che, per i sistemi di IA ad alto rischio, la PA - nel ruolo di fornitore di sistemi IA - DEVE, tra le altre cose, al penultimo punto (pag. 33): “assicurare, in linea con quanto disposto dall’art. 12 dell’AI Act, a livello tecnico, che la registrazione degli eventi rilevanti (i cosiddetti log) avvenga con modalità automatiche, per l’intera durata del ciclo di vita del sistema”.
Suggerimento: si suggerisce di aggiungere a quest’ultima affermazione (par. 5.1, penultimo punto, pag.33) la seguente precisazione: “L’integrità e i riferimenti temporali di tali log devono essere garantiti da strumenti già previsti dalla normativa europea (Regolamento UE 910/2014 come modificato dal Regolamento UE 1183/2024 - “eIDAS”) ed erogati da un Qualified Trust Service Provider”.
Chiarire la definizione del principio di robustezza nella sezione 11, specificando se si intende la capacità di un sistema di fornire risultati coerenti a parità di input oppure la resistenza ai guasti e alle variazioni del sistema.
Allineare la definizione di robustezza con il significato tecnico comune, distinguendola chiaramente dalla resilienza. Nella terminologia anglosassone, “robustness” indica la coerenza dei risultati a parità di input, mentre nelle linee guida sembra riferirsi alla capacità di funzionare nonostante guasti o variazioni. Questa differenza concettuale potrebbe creare ambiguità nell’interpretazione del principio. Se l’intenzione è riferirsi alla capacità del sistema di mantenere operatività anche in presenza di guasti, allora il termine corretto potrebbe essere resilienza anziché robustezza.
5.4 Conservazione della documentazione
Si potrebbe suggerire un Software Quality Passport. Trattasi di un passaporto tecnico o anagrafe digitale per la qualità, sicurezza e conformità del software AI oriented, come strumento per la conservazione della documentazione tecnica dei sistemi di Intelligenza Artificiale. SQP rappresenta una soluzione per garantire la conformità dei sistemi AI durante l’intero ciclo di vita – dalla produzione all’operatività .
Par. 5.1 – Monitoraggio, punto due - garantire la presenza e l’esaustività della documentazione tecnica a supporto del sistema di IA; la documentazione DEVE includere gli elementi utili a verificare i principi di trasparenza e spiegabilità dei risultati; la documentazione DEVE essere aggiornata durante tutto il ciclo di vita del sistema di IA.
Osservazione – affinché possano essere verificati “i principi di trasparenza e spiegabilità dei risultati” occorre che la documentazione tecnica a supporto del sistema di IA sia però chiara, semplice e comprensibile, secondo i principi cardine della comunicazione pubblica disciplinata dalla legge quadro, la 150/2000.
Par. 5.1 – Monitoraggio, punto cinque - scambio di informazioni e best practice: creazione di un sistema di confronto periodico con il coinvolgimento di altre PA, fornitori, università e centri di ricerca per monitorare e migliorare l’esperienza di utilizzo.
Osservazione – il sistema di confronto periodico per monitorare e migliorare l’esperienza di utilizzo dovrebbe essere codificata secondo principi di trasparenza condivisi, sulla base dei principi individuati dal d.lgs 33/2013
Par 5.1 – Monitoraggio, punto quindici - mettere a disposizione informazioni puntuali e comprensibili in relazione alle modalità di sviluppo nonché di funzionamento di tali sistemi;
Osservazione – si consiglia di precisare, essendo una PA che fornisce un servizio, che le “informazioni puntuali e comprensibili” siano in coerenza con quanto stabilito dalle norme sulla trasparenza degli atti amministrativi (d.lgs 33/2013 e ss).
5.2.
Riteniamo opportuno che le linee guida evidenzino e si uniformino all’ Ai Act, laddove quest’ultimo prevede testualmente che la PA debba essere messa in condizioni di decidere se ribaltare l’output del sistema di IA ad alto rischio.
Anche qui (vedere capitoli 3 e 4), si parla di AI Act (per esempio capire se la PA agisce come deployer o provider), ma pare ci si focalizzi soprattutto su sistemi IA e meno su sistemi GPAI.
Redatto da CePTE (Centro per le Politiche sulle Tecnologie Emergenti).
Anche qui (vedere capitoli 3 e 4), si parla di AI Act (per esempio capire se la PA agisce come deployer o provider), ma pare ci si focalizzi soprattutto su sistemi IA e meno su sistemi GPAI.
Redatto da CePTE (Centro per le Politiche sulle Tecnologie Emergenti).
PARAGRAFO: 5. Conformità delle soluzioni di IA (rif. Linee guida agid pag 32)
RIFERIMENTO: lo sviluppo e la messa a disposizione mediante riuso di sistemi di IA ivi comprese le liste di prompt.
FEEDBACK: Si potrebbe ampliare il concetto introducendo un database nazionale degli applicativi basati su IA utilizzati dalle pubbliche amministrazioni in modo da favorire il riuso come prevedono le “Linee guida su acquisizione e riuso di software per le pubbliche amministrazioni”. Queste stabiliscono che le soluzioni rese riusabili dalla Pubblica amministrazione siano pubblicate con licenza open source in un repository pubblicamente accessibile e inserite nel catalogo Developers Italia. Eventualmente creare una sezione IA in Developers Italia.
PARAGRAFO: 5.1. Monitoraggio del ciclo di vita delle soluzioni di IA (rif. Linee guida agid pag 33)
TESTO DI RIFERIMENTO: scambio di informazioni e best practice: creazione di un sistema di confronto periodico con il coinvolgimento di altre PA, fornitori, università e centri di ricerca per monitorare e migliorare l’esperienza di utilizzo.
FEEDBACK: Sarebbe interessante ampliare questo concetto magari introducendo un tavolo periodico di confronto sulla IA che coinvolga tutte le PA.
Approccio basato sul rischio: Le linee guida adottano un framework che valuta i sistemi di IA in base al livello di rischio associato, in linea con l’AI Act.
Aggiornamento continuo: Considerando la rapida evoluzione tecnologica, le linee guida sono corredate da allegati denominati “strumenti”, i cui contenuti possono essere aggiornati agevolmente. Questo garantisce un adattamento costante ai cambiamenti imposti dalla rivoluzione digitale e supporta le amministrazioni nell’adozione efficace dell’IA.
Aree di miglioramento
Mancanza di un piano strutturato per la formazione e lo sviluppo di competenze
• Problema: Sebbene le linee guida sottolineino l’importanza della consapevolezza e della competenza nell’uso dell’IA, non prevedono un piano dettagliato su come le amministrazioni pubbliche possano formare adeguatamente il personale per gestire questi sistemi in modo consapevole.
• Miglioramento ipotizzato: Inserire indicazioni più concrete su programmi di upskilling e reskilling, collaborazioni con il settore accademico e privato, e linee di finanziamento per la formazione.
Carente definizione degli strumenti di governance per garantire trasparenza e accountability
Sebbene il par. 4.6 assegni la governance dell’IA al Responsabile per la Transizione Digitale (RTD) e al suo ufficio, questa scelta presenta delle criticità che vanno affrontate per evitare inefficienze e rischi per la trasparenza e l’affidabilità dei sistemi IA.
2.a. Mancanza di Competenze specifiche sull’IA
• Problema: Il RTD è una figura con competenze generali in digitalizzazione e trasformazione digitale, ma non necessariamente esperto di intelligenza artificiale, governance algoritmica o valutazione etica dei sistemi IA. Affidare l’intera gestione dell’IA a questa figura rischia di creare un gap di competenze e decisioni non adeguatamente informate sui rischi specifici dell’IA.
• Miglioramento ipotizzato: È necessario prevedere formazione specifica per il RTD e il suo team sull’IA, oppure affiancare a questa figura un Advisory Board AI composto da esperti di IA, diritto digitale, etica e data governance.
2.b. Assenza di un sistema di audit indipendente
• Problema: Le linee guida non prevedono un organismo indipendente di controllo che possa valutare l’operato del RTD e del suo ufficio in materia di IA. Senza un audit esterno, c’è il rischio che errori, bias nei sistemi IA o scelte discutibili passino inosservati.
• Miglioramento ipotizzato: Introdurre un meccanismo di audit periodico indipendente sui sistemi IA nella PA, con obbligo di pubblicazione di report sulla loro efficacia, trasparenza e impatti sui diritti fondamentali.
2.c. Responsabilità operativa poco chiara
• Problema: Non è specificato chi, all’interno dell’UTD, sarà materialmente responsabile della gestione dei diversi sistemi IA e come verranno garantite coerenza e trasparenza tra diverse PA. Senza indicazioni operative precise, il rischio è che ogni amministrazione sviluppi una propria interpretazione della governance dell’IA, portando a decisioni incoerenti e frammentazione.
• Miglioramento ipotizzato: Definire meglio le responsabilità operative e prevedere un coordinamento centrale (ad esempio, un’unità nazionale di supporto all’IA nella PA) per armonizzare l’implementazione e la gestione dell’IA tra i diversi enti pubblici.
2.d. Mancanza di un piano per la gestione dei rischi e delle crisi
• Problema: Non è chiaro come il RTD e l’UTD dovrebbero gestire eventuali crisi o malfunzionamenti critici dei sistemi IA (es. decisioni errate che impattano i diritti dei cittadini, attacchi informatici su sistemi IA, errori sistemici nei modelli).
• Miglioramento ipotizzato: Le linee guida dovrebbero includere una sezione dedicata alla gestione del rischio e delle crisi nell’uso dell’IA, con indicazioni su misure di emergenza e protocolli di trasparenza nei confronti dei cittadini in caso di problematiche gravi.
Pertanto, migliorare il modello di governance proposto nelle linee guida, è necessario:
• Formare il RTD e il suo team sulle specificità dell’IA
• Affiancare al RTD un Advisory Board AI con esperti di settore
• Istituire un audit indipendente per monitorare l’uso dell’IA nelle PA
• Definire meglio le responsabilità operative per evitare frammentazione
• Prevedere un piano chiaro per la gestione dei rischi e delle crisi
Queste integrazioni aiuterebbero a rendere la governance dell’IA nelle PA più solida, efficace e trasparente, garantendo che la transizione digitale sia guidata non solo dall’innovazione tecnologica, ma anche da una forte attenzione alla governance, all’etica e alla protezione dei diritti dei cittadini.
Scarso coinvolgimento dei cittadini nei processi decisionali sull’uso dell’IA
• Problema: Le linee guida parlano di trasparenza, ma non prevedono meccanismi chiari di coinvolgimento attivo dei cittadini nelle decisioni relative all’uso dell’IA nei servizi pubblici.
• Miglioramento richiesto: Introdurre un meccanismo strutturato di partecipazione pubblica, come consultazioni regolari, bilanci partecipativi per i progetti IA e possibilità per i cittadini di segnalare eventuali bias o malfunzionamenti nei sistemi IA adottati, gruppi di consultazione permanenti o forum di discussione pubblici online per monitorare costantemente l’uso dell’IA.
Insufficiente attenzione al tema dell’interoperabilità e della standardizzazione
• Problema: L’adozione dell’IA nelle amministrazioni pubbliche rischia di creare ecosistemi frammentati, dove diversi enti usano soluzioni non compatibili tra loro.
• Miglioramento richiesto: Le linee guida dovrebbero promuovere standard comuni e modelli di interoperabilità, definendo requisiti tecnici minimi per assicurare che le varie soluzioni possano comunicare tra loro e garantire continuità nei servizi pubblici.
Valutazione d’impatto ancora troppo generica e senza criteri operativi chiari
• Problema: Sebbene sia prevista una valutazione d’impatto per ogni sistema IA adottato, manca un riferimento a criteri specifici e misurabili per valutare l’impatto su diritti fondamentali, discriminazione algoritmica e rischi per la privacy.
• Miglioramento richiesto: Definire parametri precisi per le valutazioni d’impatto e introdurre test di stress sugli algoritmi per identificare eventuali rischi prima della loro implementazione.
• Problema: Le amministrazioni non sembrano obbligate a rendere pubbliche le valutazioni d’impatto dei loro sistemi IA, riducendo la trasparenza e la possibilità di scrutinio da parte della società civile.
• Miglioramento richiesto: Prevedere la pubblicazione obbligatoria delle valutazioni d’impatto, almeno per i sistemi IA ad alto rischio, così da garantire maggiore accountability e controllo pubblico.
• Problema: Le valutazioni sembrano essere autocertificate dalla PA che adotta il sistema IA, senza un meccanismo di controllo esterno o una revisione indipendente.
• Miglioramento richiesto: Istituire un organismo di audit che verifichi l’efficacia delle valutazioni e imponga correttivi obbligatori se emergono rischi non mitigati.
Non è chiaro il processo di aggiornamento della valutazione
• Problema: L’IA evolve nel tempo, e una valutazione d’impatto effettuata al momento dell’adozione potrebbe non essere più valida dopo alcuni mesi o anni.
• Miglioramento richiesto: Stabilire l’obbligo di aggiornare periodicamente la valutazione d’impatto, soprattutto in caso di aggiornamenti significativi dell’algoritmo o dei dataset.
Feedback aggiuntivi di carattere generale:
• Terminologia e definizioni: Alcuni acronimi e termini utilizzati (es. SDG, TRL) non sono definiti chiaramente. Assicurarsi che tutte le abbreviazioni usate nel documento siano definite esplicitamente nel glossario.
• Formazione e competenze: Rafforzare il legame esplicito con la sezione sulla formazione (§8), specialmente nel ciclo di vita (§3.1) e nelle raccomandazioni operative per garantire un’applicazione efficace e consapevole delle linee guida.
• Focus pratico e pragmatico: Ove possibile, trasformare indicazioni teoriche e generali in raccomandazioni operative, chiare e accompagnate da esempi pratici, checklist o schede operative che facilitino l’applicabilità da parte delle Amministrazioni, specie quelle più piccole o meno attrezzate.
Conclusione sui principali punti di forza e miglioramento
Le linee guida dell’AgID rappresentano un primo passo importante, ma per garantire che l’IA nella PA sia implementata in modo efficace, etico e sostenibile, servono:
• Un piano concreto per la formazione del personale
• Meccanismi di monitoraggio e accountability chiari
• Maggiore coinvolgimento dei cittadini nelle scelte sull’IA
• Un focus sull’interoperabilità per evitare frammentazione tecnologica
• Criteri più precisi per la valutazione d’impatto
Questi aspetti devono essere rafforzati per assicurare che la Pubblica Amministrazione italiana non solo adotti l’IA, ma lo faccia in modo responsabile e strategico, massimizzandone i benefici per la società.