Gentili referenti AGID,
ho esaminato con interesse la bozza delle linee guida per l’adozione di IA nella PA, con particolare attenzione al Capitolo 3. Apprezzo l’impostazione generale del documento e il lavoro svolto per allinearlo al Regolamento UE 2024/1689 (AI Act). Vorrei proporre alcune modifiche specifiche al testo attuale per garantire il pieno allineamento con la normativa europea.
1. Definizione di sistema di IA (pagina 13)
Innanzitutto, a partire dalla seguente definizione ma a comprendere tutto il documento, sarebbe opportuno rivedere l’uso occasionale di “intelligenza artificiale” sostituendolo con “sistema di IA” quando si fa riferimento a implementazioni specifiche, per garantire coerenza con la terminologia dell’AI Act. Allo stesso modo, andrebbe uniformato l’uso di “modello di IA” chiarendo sempre la distinzione con “sistema di IA” (faccio tale considerazione cercando di pormi in linea con quanto già rilevato da alcuni partecipanti alla consultazione, in particolare Claudio Biancalana, che ha suggerito di rendere il documento più fruibile a diversi livelli di lettura, e Massimiliano Bruno Tebaldi, che ha proposto di integrare un glossario dei termini tecnici, ritengo che alcune definizioni e concetti chiave nel Capitolo 3 possano essere meglio articolati).
Difatti l’ AI Act è abbastanza specifico nella definizione di un sistema di IA. Sarebbe dunque utile integrare la definizione attuale con un box esplicativo che evidenzi i quattro elementi chiave di un sistema di IA secondo l’AI Act: 1. la natura di sistema basato su macchine, 2. i livelli variabili di autonomia, 3. la capacità di adattamento post-deployment, 4. e la capacità inferenziale. Questo aiuterebbe le PA a riconoscere più facilmente quali sistemi ricadono sotto la definizione normativa (fermo restando l’attenzione che dobbiamo porre nel dibattito odierno su quali sistemi di IA potrebbero considerarsi al di là dell’AI Act, come testimoniato ora dal dibattito su log reg in ambito finanziario)
Testo attuale:
“Con “sistema di IA” si intende “un sistema automatizzato progettato per funzionare con livelli di autonomia variabili e che può presentare adattabilità dopo la diffusione e che, per obiettivi espliciti o impliciti, deduce dall’input che riceve come generare output quali previsioni, contenuti, raccomandazioni o decisioni che possono influenzare ambienti fisici o virtuali”.”
Testo proposto:
"Con “sistema di IA” si intende “un sistema automatizzato progettato per funzionare con livelli di autonomia variabili e che può presentare adattabilità dopo la diffusione e che, per obiettivi espliciti o impliciti, deduce dall’input che riceve come generare output quali previsioni, contenuti, raccomandazioni o decisioni che possono influenzare ambienti fisici o virtuali”.
[BOX ESPLICATIVO]
Un sistema di IA secondo l’AI Act è caratterizzato da quattro elementi fondamentali:
1. È un sistema basato su macchine (machine-based)
2. Funziona con livelli variabili di autonomia rispetto al controllo umano
3. Può mostrare capacità di adattamento dopo essere stato implementato
4. Possiede capacità inferenziale, ovvero può dedurre dagli input come generare output specifici
Questi elementi aiutano a distinguere i sistemi di IA da altri software tradizionali."
2. Ampliamento sezione sui modelli GPAI (pagina 14)
Suggerisco di espandere il breve riferimento ai GPAI a pagina 14 con un paragrafo più strutturato che spieghi la definizione completa come da articolo 3(62) dell’AI Act, con particolare attenzione ai criteri che determinano quando un modello si considera di finalità generali. Nel contesto delle PA, sarebbe utile chiarire gli obblighi specifici che derivano dall’utilizzo di tali modelli e la distinzione tra modelli GPAI e quelli con rischio sistemico.
Testo attuale:
“Un sistema di GPAI si basa su un modello di IA per finalità generali e possiede la capacità di essere utilizzato per molteplici scopi. Un modello di IA per finalità generali possiede un’elevata capacità di generalizzazione, ed è addestrato su grandi volumi di dati spesso utilizzando tecniche di auto-apprendimento su larga scala. Questo tipo di modello è in grado di eseguire una vasta gamma di compiti distinti e può essere integrato in diversi sistemi o applicazioni.”
Testo proposto:
"Un sistema di GPAI si basa su un modello di IA per finalità generali e possiede la capacità di essere utilizzato per molteplici scopi.
L’AI Act (art. 3, punto 63) definisce un modello di IA per finalità generali come “un modello di IA, compresi i casi in cui tale modello è addestrato con una grande quantità di dati utilizzando l’auto-apprendimento su larga scala, che mostra una generalità significativa ed è capace di eseguire con competenza un’ampia gamma di compiti distinti, indipendentemente dal modo in cui il modello è immesso sul mercato e che può essere integrato in una varietà di sistemi o applicazioni a valle”.
I modelli GPAI si distinguono per:
- La capacità di svolgere compiti diversi senza ulteriore addestramento specifico
- L’addestramento su grandi volumi di dati, spesso con tecniche di auto-apprendimento
- La possibilità di integrazione in molteplici sistemi o applicazioni
L’AI Act prevede poi una categoria specifica di modelli GPAI “con rischio sistemico” (art. 51), che sono soggetti a obblighi rafforzati quando possiedono “capacità ad alto impatto” o hanno un impatto significativo sul mercato interno. Le PA devono prestare particolare attenzione quando utilizzano tali modelli, verificando che i fornitori abbiano adempiuto agli obblighi di valutazione e mitigazione dei rischi previsti."
3. Classificazione dei rischi (pagina 17-18)
Nella sezione 3.3, oltre alle categorie già elencate, sarebbe opportuno specificare che i sistemi ad alto rischio includono anche quelli che sono componenti di sicurezza dei prodotti come indicato nell’art. 6(1)(a) dell’AI Act. Inoltre, suggerirei di approfondire le eccezioni previste dall’articolo 6(3) che permettono, in determinate circostanze, di non classificare come ad alto rischio un sistema che pure rientrerebbe nelle categorie dell’Allegato III. Questa precisazione è fondamentale per evitare oneri regolatori non necessari alle PA.
Testo attuale:
"Le PA DEVONO tenere in considerazione la classificazione dei sistemi di IA in base ai livelli di rischio delineati dall’AI Act:
• Sistemi di IA vietati: sono i sistemi dal rischio inaccettabile e, pertanto, vietati. L’art. 5 dell’AI Act fornisce un’elencazione delle IA vietate…
• Sistemi di IA ad alto rischio: sono i sistemi che pongono elevati rischi. In caso di malfunzionamento, tali sistemi rappresentano una potenziale rilevante dannosità…
• Sistemi di IA a rischio limitato: sono sistemi dal rischio minore…
• Sistemi di IA a rischio minimo o nullo: sono sistemi dal rischio irrilevante…"
Testo proposto:
"Le PA DEVONO tenere in considerazione la classificazione dei sistemi di IA in base ai livelli di rischio delineati dall’AI Act:
• Sistemi di IA vietati: sono i sistemi dal rischio inaccettabile e, pertanto, vietati. L’art. 5 dell’AI Act fornisce un’elencazione delle IA vietate (per esempio, IA che utilizzano tecniche subliminali che agiscono senza che una persona ne sia consapevole o tecniche volutamente manipolative o ingannevoli volte a distorcere il comportamento delle persone; meccanismi di sfruttamento delle persone vulnerabili; sistemi di IA che introducano meccanismi di scoring sociale).
• Sistemi di IA ad alto rischio: sono sistemi che pongono elevati rischi. In caso di malfunzionamento, tali sistemi rappresentano una potenziale rilevante dannosità, con elevata compromissione di interessi pubblici e diritti fondamentali. L’AI Act identifica due categorie di sistemi ad alto rischio:
- Sistemi di IA che sono componenti di sicurezza di prodotti soggetti a valutazione di conformità da parte di terzi secondo la normativa di armonizzazione UE elencata nell’Allegato I dell’AI Act (art. 6.1)
- Sistemi di IA utilizzati nei settori elencati nell’Allegato III dell’AI Act (art. 6.2)
L’AI Act prevede anche casi in cui, eccezionalmente, sistemi che rientrerebbero nell’Allegato III possono non essere considerati ad alto rischio (art. 6.3), ad esempio quando:
- Il sistema è destinato a svolgere un compito procedurale ristretto
- Il sistema è destinato a migliorare il risultato di un’attività umana precedentemente completata
- Il sistema non comporta profilazione
Le PA DOVREBBERO, inoltre, considerare che alla Commissione europea è conferito il potere di adottare atti delegati aggiungendo o modificando i casi d’uso dei sistemi di IA ad alto rischio di cui all’Allegato III all’AI Act.
• Sistemi di IA a rischio limitato: sono sistemi dal rischio minore. In caso di malfunzionamento, si contraddistinguono per una potenziale dannosità limitata (per esempio, chatbot generici), con un impatto limitato su interessi pubblici e diritti fondamentali.
• Sistemi di IA a rischio minimo o nullo: sono sistemi dal rischio irrilevante. In caso di malfunzionamento, la relativa dannosità è molto limitata, potendo avere un impatto del tutto trascurabile su interessi pubblici e diritti fondamentali."
4. Ruoli nella catena del valore dell’IA (pagina 16)
La sezione 3.2 andrebbe arricchita includendo le definizioni di “importatore” e “distributore” come da articolo 3 dell’AI Act, nonché chiarendo meglio il concetto di “modifica sostanziale” (art. 25) che trasforma un deployer in provider. Sarebbe inoltre utile aggiungere un riferimento ai “rappresentanti autorizzati” (art. 22), figura che può risultare rilevante quando le PA acquisiscono sistemi di IA da fornitori extra-UE.
Testo attuale:
"• Fornitore: soggetto che sviluppa un sistema di IA o un modello GPAI o che fa sviluppare un sistema di IA o un modello GPAI e immette tale sistema o modello sul mercato o mette in servizio il sistema di IA con il proprio nome o marchio;
• Deployer: soggetto che utilizza un sistema di IA, anche integrandolo nei propri sistemi, senza modificarne in modo significativo il funzionamento. Se un deployer modifica in modo significativo il sistema o lo utilizza sotto il proprio nome o marchio, assume le responsabilità del fornitore."
Testo proposto:
"• Fornitore: soggetto che sviluppa un sistema di IA o un modello GPAI o che fa sviluppare un sistema di IA o un modello GPAI e immette tale sistema o modello sul mercato o mette in servizio il sistema di IA con il proprio nome o marchio;
• Deployer: soggetto che utilizza un sistema di IA, anche integrandolo nei propri sistemi, senza modificarne in modo significativo il funzionamento. Se un deployer modifica in modo significativo il sistema o lo utilizza sotto il proprio nome o marchio, assume le responsabilità del fornitore.
• Importatore: persona fisica o giuridica stabilita nell’Unione che immette sul mercato dell’Unione un sistema di IA recante il nome o marchio di una persona fisica o giuridica stabilita al di fuori dell’Unione (art. 3.6 dell’AI Act).
• Distributore: persona fisica o giuridica nella catena di fornitura, diversa dal fornitore o dall’importatore, che mette a disposizione un sistema di IA sul mercato dell’Unione (art. 3.7 dell’AI Act).
• Rappresentante autorizzato: persona fisica o giuridica stabilita nell’Unione che ha ricevuto e accettato un mandato scritto da un fornitore di un sistema di IA per agire per suo conto in relazione a determinati obblighi ai sensi del presente regolamento (art. 3.5 dell’AI Act).
È importante sottolineare che, secondo l’art. 25 dell’AI Act, una “modifica sostanziale” del sistema di IA (cioè un cambiamento che influisce sulla conformità o che modifica la finalità prevista) comporta che il deployer assuma gli obblighi del fornitore. Ciò include casi in cui un deployer adatta un sistema di uso generale per uno scopo ad alto rischio."
5. Approfondimento sul concetto di bias (pagina 14)
Seppure si veda un collegamento implicito, ritengo che il paragrafo sui bias potrebbe essere connesso più esplicitamente all’articolo 10 dell’AI Act sulla governance dei dati. Suggerirei di integrare questa parte con rifermenti alle misure di mitigazione specificamente richieste per i sistemi ad alto rischio e illustrando come la gestione dei bias si colleghi ai requisiti di non discriminazione che le PA dovrebbero essere tenute a rispettare
Testo attuale:
"I sistemi di IA posso essere soggetti a bias, cioè distorsioni o pregiudizi che possono manifestarsi nei risultati o nei comportamenti di un sistema di IA a causa di diversi fattori, come:
• bias nei dati: quando i dati utilizzati per addestrare o testare il modello di IA utilizzato riflettono pregiudizi, incompletezze o rappresentazioni distorte della realtà, influenzando negativamente l’equità e l’accuratezza del sistema;
• bias algoritmico: quando le scelte tecniche o le ipotesi implementate nei modelli IA o negli algoritmi utilizzati introducono distorsioni nei risultati;
• bias umano: quando pregiudizi impliciti o espliciti dei progettisti o degli stakeholder si riflettono nella progettazione, nell’addestramento o nell’applicazione del sistema di IA.
Il bias può portare a trattamenti ingiusti, risultati inaffidabili o discriminazioni nei confronti di specifici individui o gruppi. Riconoscere, mitigare e monitorare i bias è essenziale per garantire che i sistemi di IA operino in modo trasparente ed equo."
Testo proposto:
"I sistemi di IA posso essere soggetti a bias, cioè distorsioni o pregiudizi che possono manifestarsi nei risultati o nei comportamenti di un sistema di IA a causa di diversi fattori, come:
• bias nei dati: quando i dati utilizzati per addestrare o testare il modello di IA utilizzato riflettono pregiudizi, incompletezze o rappresentazioni distorte della realtà, influenzando negativamente l’equità e l’accuratezza del sistema;
• bias algoritmico: quando le scelte tecniche o le ipotesi implementate nei modelli IA o negli algoritmi utilizzati introducono distorsioni nei risultati;
• bias umano: quando pregiudizi impliciti o espliciti dei progettisti o degli stakeholder si riflettono nella progettazione, nell’addestramento o nell’applicazione del sistema di IA.
Il bias può portare a trattamenti ingiusti, risultati inaffidabili o discriminazioni nei confronti di specifici individui o gruppi. Riconoscere, mitigare e monitorare i bias è essenziale per garantire che i sistemi di IA operino in modo trasparente ed equo.
Per i sistemi ad alto rischio, l’AI Act (art. 10) prevede specifici requisiti di governance dei dati volti a prevenire i bias. In particolare, i fornitori devono garantire che i dataset di addestramento, validazione e test siano pertinenti, rappresentativi, privi di errori e completi in rapporto allo scopo previsto. I dataset devono inoltre tenere conto delle caratteristiche specifiche del contesto geografico, comportamentale o funzionale in cui il sistema è destinato a essere utilizzato.
Le PA, in qualità di deployer, devono verificare l’adozione di queste misure e implementare ulteriori controlli per identificare e mitigare eventuali bias che potrebbero emergere durante l’utilizzo del sistema, soprattutto quando questo può influenzare i diritti dei cittadini o l’accesso ai servizi pubblici. Questo aspetto è cruciale per garantire che l’utilizzo dell’IA nel settore pubblico rispetti il principio di non discriminazione."
6. Integrazione dei principi per l’adozione dell’IA (pagina 19-21)
Nella sezione 3.4, che è ben strutturata, suggerirei di aggiungere un principio specifico sulla “spiegabilità” (distinto dalla trasparenza) per riflettere adeguatamente l’articolo 13 dell’AI Act (i un contesto B2B tra provider e deployer, espandendo però anche al concetto di ‘remedies’ espresso nel contesto B2C da articolo 86 verso un end-user, complementare al ‘right to an explanation’ del model rationale del EU GDPR). Il principio P.14 sulle registrazioni andrebbe rafforzato con un riferimento esplicito all’articolo 12 dell’AI Act, e il principio P.5 sulla responsabilità potrebbe essere ampliato per coprire meglio gli aspetti relativi alla catena del valore dell’IA.
Testo attuale:
“P.7 Trasparenza. le PA adottano sistemi di AI garantendo la trasparenza e comprensibilità delle loro decisioni e del funzionamento. Le PA garantiscono una adeguata spiegabilità dei risultati, rendendo comprensibili le motivazioni che supportano le decisioni e le azioni intraprese dai sistemi di IA.”
Testo proposto:
"P.7 Trasparenza. Le PA adottano sistemi di AI garantendo la trasparenza e comprensibilità delle loro decisioni e del funzionamento. Le PA garantiscono che i sistemi di IA siano sviluppati e implementati in modo da consentire un adeguato livello di comprensione del loro funzionamento, in linea con quanto previsto dall’art. 13 dell’AI Act per i sistemi ad alto rischio.
P.7bis Spiegabilità. Le PA garantiscono un’adeguata spiegabilità dei risultati prodotti dai sistemi di IA, rendendo comprensibili le motivazioni che supportano le decisioni e le azioni intraprese. Questo include la capacità di fornire informazioni sugli elementi che hanno influenzato un particolare output e sul modo in cui il sistema è giunto a determinate conclusioni o raccomandazioni, soprattutto quando queste hanno un impatto diretto sui cittadini."
Testo attuale:
“P.14 Registrazioni (logging). le PA adottano sistemi di IA dotati di adeguati meccanismi di registrazione necessari a tracciare e conservare nel tempo le operazioni svolte.”
Testo proposto:
“P.14 Registrazioni (logging). Le PA adottano sistemi di IA dotati di adeguati meccanismi di registrazione necessari a tracciare e conservare nel tempo le operazioni svolte. In conformità con l’art. 12 dell’AI Act, i sistemi ad alto rischio devono essere progettati e sviluppati con capacità di registrazione automatica degli eventi (log) durante il loro intero ciclo di vita. Tali registrazioni devono consentire il monitoraggio del funzionamento del sistema, l’identificazione di situazioni che possono comportare rischi e la facilitazione di indagini post-incidente, garantendo al contempo la tracciabilità del sistema.”
7. Revisione del principio sulla supervisione umana (pagina 21)
Sempre in linea con quanto esposto sopra al punto 6., il principio P.13 sulla supervisione umana andrebbe riformulato per allinearlo più precisamente all’articolo 14 dell’AI Act, specificando che il livello di supervisione deve essere proporzionato al livello di rischio e alle caratteristiche del sistema. Nella formulazione attuale questo aspetto di proporzionalità non emerge con sufficiente chiarezza.
Testo attuale:
“P.13 Supervisione umana. Le PA garantiscono un livello adeguato di supervisione umana dei sistemi di IA. Ai fini della supervisione umana, le PA assicurano che i sistemi di IA siano progettati e implementati in modo tale da consentirne la verifica, correzione o sostituzione da parte di personale umano.”
Testo proposto:
"P.13 Supervisione umana. Le PA garantiscono un livello adeguato di supervisione umana dei sistemi di IA, commisurato al tipo di sistema e al suo livello di rischio. In conformità con l’art. 14 dell’AI Act, per i sistemi ad alto rischio la supervisione umana deve permettere alle persone designate di:
- comprendere pienamente le capacità e i limiti del sistema e monitorarne il funzionamento;
- rimanere consapevoli della possibile tendenza a fare eccessivo affidamento sull’output prodotto dal sistema (automation bias);
- interpretare correttamente l’output del sistema;
- decidere di non utilizzare il sistema o ignorare, annullare o invertire l’output del sistema in qualsiasi situazione;
- intervenire o interrompere il funzionamento del sistema.
Le PA assicurano che i sistemi di IA siano progettati e implementati in modo tale da consentirne la verifica, correzione o sostituzione da parte di personale umano, e che questo personale abbia la competenza, la formazione e l’autorità necessarie per svolgere efficacemente i propri compiti di supervisione."
Queste revisioni rispondono anche alla richiesta dei contributi sovraesposti, in particolari verso Gaia Favazzi di “identificare i rispettivi responsabili per ciascuna PA” e di “definire requisiti da rispettare ai fini della valutazione”, nonché alle osservazioni di Enzo Maria Le Fevre sulla necessità di “audit e revisione periodica”.
Scaricare e installare modelli LLM ottimizzati per l’uso locale, riducendo i consumi di risorse e garantendo efficienza.
Si propone di integrare nelle linee guida una sezione dedicata all’utilizzo di soluzioni open-source per l’analisi e la gestione documentale, valutando alternative come GPT4All, Mistral e Gemma, per garantire una transizione digitale più sostenibile, sicura e autonoma per la PA.