4. Modello di adozione dell'IA

Consultazioni pubbliche LG per l’adozione di IA nella PA
25

Al punto 4.6 si prevede:

‘Fermi restando gli obblighi di conformità all’AI Act, le PA DEVONO adottare un codice etico per l’IA. Tale codice DEVE divenire uno strumento di governance vincolante, allineato con il quadro normativo vigente, integrato nei processi decisionali e operativi della PA, finalizzato a un uso responsabile, equo e trasparente dell’IA (cfr. cap. 6).’

Il capitolo 6 si apre con:

  1. Governance etica dell’IA

‘Fermi restando gli obblighi di conformità all’AI Act (cfr. cap. 5) e ad ogni altra normativa unionale e nazionale, anche settoriale, applicabile, i quali DEVONO essere puntualmente adempiuti, le PA POSSONO valutare l’opportunità, in aggiunta ai vincoli predetti, di dotarsi di codici etici e di comportamento, anche in collaborazione con altre amministrazioni o adottando modelli definiti da enti sovraordinati o della stessa tipologia.’

Il combinato disposto delle due previsioni sembra non fornire certezze circa l’adozione del codice etico. Inoltre, nel capitolo 6 si introduce il codice di comportamento, che svolte all’interno delle PA anche la funzione sanzionatoria. Forse sarebbe opportuna una formulazione più esplicita sul tema e sull’azione richiesta alle PA.

26

Nell’ambito della realizzazione di sistemi integrati con Intelligenza Artificiale, il cui elevato consumo energetico rappresenta una sfida significativa in termini di sostenibilità, potrebbe essere utile prevedere , all’interno delle Linee Guida, anche i principi per la definizione di un Modello di Sostenibilità Ambientale, per verificare se architetture software e codice sono efficienti contribuendo al risparmio energetico, finalizzato alla riduzione delle emissioni di CO₂ e minimizzando l’uso dell’acqua per il raffreddamento dei Data Center.
Ad esempio, un tale modello dovrebbe essere allineato alle direttive europee, come la CSRD (Corporate Sustainability Reporting Directive), che obbliga le aziende a rendicontare in modo trasparente le proprie attività in materia di sostenibilità, mediante misurazioni realizzate secondo standard internazionali riconosciuti, come quelli promossi da OMG ASCRSM e da altre normative ambientali.

27

‘4.10 Le PA DEVONO determinare e allocare le risorse finanziarie, tecnologiche e umane adeguate a sviluppare, mantenere e migliorare con continuità i propri sistemi di IA.’ Come per tutte le tecnologie, sarebbe utile un aiuto a lungo termine da parte delle PA d’ambito. Sarebbe quanto mai opportuno che si potessero riabilitare le Province su diversi temi, ma sul digitale in particolare.

28
  • Integrare un riferimento all’uso di sandbox regolatori, ossia ambienti di sperimentazione controllata, per testare soluzioni IA prima della loro adozione su larga scala.
  • Definire un’architettura modulare per l’IA nella PA, per consentire alle amministrazioni di adottare strumenti scalabili e adattabili ai diversi contesti locali.
  • Modificare la formulazione alla fine di pagina 40, che afferma che i cittadini devono comprendere le decisioni automatizzate. Questo punto è ridondante, poiché il divieto di decisioni automatizzate con impatto significativo sulla vita degli individui è già sancito dall’AI Act e dall’articolo 22 del GDPR. Inoltre, il successivo riferimento al diritto all’intervento umano appare superfluo, in quanto il GDPR già garantisce tale diritto. Sarebbe utile riformulare questa sezione per evitare ripetizioni e allinearla meglio con il quadro normativo vigente.
29
  1. Modello di adozione dell’IA
    Per quanto l’AI sia molto importante, forse avanzare per modelli parziali (whistleblowing, cybersec, accessibilità, AI, etc.) rischia di frammentare ancora di più la già fragile figura dell’RTD. Comprendo la difficoltà, ma non posso non suggerire l’adozione di una linea guida su un modello organizzativo di transizione digitale che comprenda tutti questi aspetti.
    I profili professionali richiesti al capitolo 7.3 dovrebbero essere già presenti negli UTD delle PA.
    Un modello per AI ha sicuramente più appeal di un modello di transizione digitale generale che declini i vari ambiti di azione, ma segnalo il potenziale rischio di creare sylos tematici piuttosto che reale trasversalità.
30

Cap4 - Par. 4.3

punto 1) b - Ottimizzazione dell’allocazione delle risorse: le PA utilizzano l’IA per distribuire le risorse in modo più efficiente, individuando le priorità e focalizzandosi sulle aree di maggiore
necessità, ottimizzando così l’uso delle risorse pubbliche.

Osservazione – la distribuzione delle risorse deve però coniugare l’efficienza con i bisogni sociali espressi dalle collettività, con particolare riferimento alle fasce più deboli e a rischio di marginalizzazione; le priorità non possono essere determinate, in prima istanza,
dall’ottimizzazione, perché si rischia di non ascoltare adeguatamente la propria comunità e di non promuoverne uno sviluppo equo e inclusivo.

Punto 1) d. Miglioramento del supporto giuridico: l’IA supporta le PA nell’analisi normativa e giurisprudenziale, consentendo di elaborare pareri legali più accurati e tempestivi e di monitorare aggiornamenti legislativi rilevanti.

Osservazione – più che consentire l’elaborazione di pareri legali, anche la subordinata dovrebbe essere retta dal verbo “supportare”, diventando “supportare nell’elaborazione di pareri legali”.

Leda Guidi a nome di Compubblica (Presidente)

31

4.1 Strategia per l’IA
Un aspetto significativo di un processo di adozione di sistemi AI è che i modelli di qualità sviluppati e i dataset prodotti da determinata PA, una volta validati e testati, possano essere riutilizzati e condivisi tra le diverse Amministrazioni Pubbliche. Questo approccio non solo promuove la standardizzazione dei processi di valutazione e miglioramento della qualità, ma contribuisce anche all’ottimizzazione delle risorse impiegate, consentendo di risparmiare tempo e denaro. La condivisione di asset AI driven e delle buone pratiche tra PA diverse facilita la creazione di un ecosistema pubblico cooperativo e sinergico, migliorando in modo complessivo le performance dei servizi digitali a valore aggiunto.
Le linee guida potrebbero suggerire, oltre al registro per il riuso dei modelli dei dataset e dei modelli, una piattaforma di AI KNOWLEDGE-EXPERIENCE BASE dove ogni PA accreditata potrebbe condividere dataset, modelli utili all’AI, e altri asset che potrebbero essere utilizzati dalle diverse PA all’interno di AI Knowledge-Experience Package di ciascuna PA. Questi package creerebbero una AI Knowledge-Experience Base (AI-KEB) condivisa e accessibile, dedicata a sistemi informatici omologhi. In questo modo, il riuso dei modelli e dei dataset che devono essere “qualificati” e delle esperienze aumenterebbe non solo l’efficienza e l’efficacia delle PA, ma contribuirebbe anche a creare una cultura della qualità e dell’innovazione continua e condivisa nell’ambito pubblico.
Questo approccio costituirebbe una base solida per l’introduzione e la gestione sostenibile dell’Intelligenza Artificiale nei sistemi informatici della Pubblica Amministrazione.

32

4.7 Gestione del rischio
Sarebbe opportuno inserire obblighi relativi all’aggiornamento del registro del trattamento dati delle PA nel caso di utilizzo di sistemi AI nella gestione del proprio patrimonio informativo. Inoltre sarebbe opportuno esplicitare quando occorre eseguire la DPIA oltre nel prevedere sempre una valutazione del rischio. Pertanto se
l’AI Act definisce requisiti rigorosi per la valutazione d’impatto dei sistemi IA “ad alto rischio”, quest’ultima dovrebbe includere la valutazione d’impatto sui diritti fondamentali (FRIA)(cfr. cap. 5) e la valutazione d’impatto sulla protezione dei dati personali (DPIA)(cfr. cap. 10), quando il trattamento prevede l’uso di nuove tecnologie che, considerati la natura, l’oggetto, il contesto e le finalità del trattamento, può presentare un rischio elevato per i diritti e le libertà delle persone fisiche.

33

4.1. Modello di adozione dell’IA,
Si suggerisce di integrare con i seguenti punti:
A) Alla prescrizione: “La strategia DEVE contenere gli obiettivi dell’utilizzo dell’IA (cfr. par. 4.3). e le azioni per conseguirli, promuovendo un approccio condiviso e collaborativo che coinvolga tutte le funzioni della PA” andrebbe aggiunto “deve contenere le misure per garantire la trasparenza sulle modalità di utilizzo dell’IA in quella specifica amministrazione."
B) inoltre: “La Strategia IA va monitorata e aggiornata periodicamente per verificarne (i)effettiva applicazione e applicabilità, (ii) scostamenti, (iii) necessità di aggiornare su obiettivi/tecnologia/valori/letteratura disponibile”.

4.6 Governance:
A) alla prescrizione: “Secondo quanto previsto dal Piano triennale per l’informatica nella pubblica amministrazione, la responsabilità della gestione dell’IA nelle PA deve essere affidata al RTD e al suo ufficio (UTD)”, aggiungere un’integrazione per precisare che la responsabilità civile e penale di eventuali violazioni dei diritti fondamentali dei cittadini rimane in capo al responsabile del procedimento e la responsabilità civile si intende estesa alla pubblica amministrazione.
B) Alla prescrizione: “La PA DOVREBBE definire procedure di governance per lo sviluppo e l’utilizzo dei sistemi di IA. Le eventuali procedure DEVONO essere coerenti con la strategia per IA dell’ente e con la strategia definita nel PIAO”, aggiungere “le procedure di governance devono essere rese trasparenti e accessibili per favorirne la conoscibilità da parte delle cittadine e dei cittadini.”

4.7 Gestione del rischio.
In riferimento a questa sezione, riteniamo opportuno che si sottolinei che:
A) Le misure di sorveglianza sono certamente da commisurare ai rischi, ma la sorveglianza umana è un prescrizione cogente in ogni caso. Riteniamo che questo aspetto dovrebbe essere maggiormente evidenziato nelle linee guida, collegando la gestione del rischio alla sorveglianza umana, esattamente come previsto dall’Ai Act.
B) In base all’AI Act, il requisito di una verifica separata da parte di almeno due persone fisiche si applica ai sistemi di IA ad alto rischio utilizzati dalle PA. Riteniamo che le linee guida non ne debbano fare menzione.
C) Riteniamo opportuno che venga inoltre inserito un meccanismo di segnalazione da parte della società civile di eventuali rischi che la PA potrebbe non considerare (es. dando un tempi e modalità specifiche entro cui poter inviare eventuali segnalazioni).
D)Specificare l’obbligo di verifiche per non violare diritti di proprietà intellettuale di terzi

4.11 Implementazione
A)Chiediamo che venga specificato che le PA devono garantire adeguata trasparenza e accountability rispetto alle valutazioni effettuate.
B) Riteniamo che sarebbe opportuno prevedere un meccanismo di segnalazione da parte della società civile di eventuali considerazioni sulla valutazione svolta.
C)aggiungere che: "come parte della documentazione che le PA devono avere da parte del provider, c’è il design dell’architettura, e nel caso ci sia l’utilizzo di RAG o di prompt chaining, i dettagli su questi ultimi. Riteniamo infatti che non dovrebbero esistere segreti tra la PA e gli implementatori che hanno l’appalto.

34

4.3 Obiettivi e ambiti di applicazione.
1 d. Miglioramento del supporto giuridico.
all’interno della PA, così come all’esterno, l’IA può aiutare gli Avvocati nella redazione di pareri legali con la garanzia dell’integrità, imparzialità e competenza che il rapporto di esclusività e il rispetto delle norme professionali assicurano.
2.a. Personalizzazione.
Sarebbe opportuno sostituire “migliorando 'interazione digitale e l’efficienza nella risposta” con “migliorando mediante interazione digitale, efficienza nella risposta e oneri”.
2.d. Accessibilità.
Richiamare la Legge Stanca (Legge 4/2004).

4.8. Valutazione d’impatto.
Al terzo capoverso “le PA DEVONO - non, quindi, dovrebbero - definire un processo per valutare, anche se in forma semplificata, le potenziali conseguenze sui diritti fondamentali, derivanti dallo sviluppo, utilizzo o eventuale uso improprio…”. Trattandosi di diritti fondamentali, le PA sono obbligate ad adottare trasparenti e chiari processi di valutazione di impatto, sviluppo, utilizzo o uso improprio.

  1. Conformità delle soluzioni di IA
  2. al penultimo capoverso "nel caso in cui le PA ricoprono il ruolo di ornitore di sistemi di IA includono:
  • l’erogazione di sistemi di IA mediante servizi in cloud ad altri soggetti pubblici o privati".
    Non è chiaro se la PA fornisca servizi ai privati, ovvero paghi per tali servizi il privato.

5.1. Monitoraggio del ciclo di vita delle soluzioni di IA

Nel monitoraggio del ciclo di vita delle soluzioni di IA, oltre a considerare i dati oggetto di trattamento, devono mettere in atto ogni forma di tutela, nonché tutelare tutti i i diritti fondamentali, oltre gli interessi legittimi.

35

Il documento sottolinea che l’adeguamento dell’assetto organizzativo delle Pubbliche Amministrazioni alle Linee Guida AgID per l’adozione dell’IA, in conformità con l’AI Act (Regolamento UE 1689/2024), muove necessariamente dalla classificazione dei livelli di rischio dei sistemi di IA identificati a livello europeo: sistemi AI vietati, sistemi AI ad alto rischio, sistemi AI a rischio limitato, sistemi AI a rischio minimo o nullo.

ANCE valuta positivamente la natura pragmatica del documento, che si evince dall’approccio dinamico basato su un ciclo di miglioramento continuo, definito “Plan-Do-Check-Act” (PDCA), che parte dalla pianificazione strategica per arrivare all’implementazione operativa, passando per il monitoraggio e il miglioramento continuo.

Secondo gli attori coinvolti nel settore delle costruzioni risulta assolutamente prioritario analizzare gli impatti che l’adozione dell’IA può avere nei confronti dei processi di gestione delle gare d’appalto, in particolar modo per migliorare la trasparenza, l’efficienza, le attività di verifica e la tempestività negli affidamenti.

L’adozione di algoritmi predittivi e di analisi dei dati da parte delle Pubbliche Amministrazioni, potrebbero migliorare le attività di assegnazione delle risorse ai vari enti territoriali e locali, ridurre il rischio di contenziosi, garantire una gestione più efficace delle opere pubbliche, soprattutto da un punto di vista manutentivo.

L’IA applicata, ad esempio, alla gestione dei gemelli digitali, potrà rivoluzionare l’attività di pianificazione urbana e territoriale, permettendo la creazione di scenari simulati, valutazioni d’impatto relative a nuove infrastrutture o spazi pubblici, consentendo l’ottimizzazione delle fasi decisionali che tradizionalmente richiedono anni di studi.

Anche in questo caso, il coinvolgimento di ulteriori stakeholders come gli EDIHs, potrebbe accelerare questa fase di transizione digitale della Pubblica Amministrazione verso l’adozione dell’IA, magari prevedendo percorsi formativi ad hoc verso i dipendenti pubblici.

Tale proposta si sposa con gli obiettivi perseguiti dal documento proposto da AgID, come aumentare la propria capacità di analisi e gestione dei dati, automatizzare i processi ripetitivi, al fine di semplificare i processi interni, ridurre i tempi operativi e migliorare l’efficienza complessiva dell’ente, o, ancora, sviluppare modelli predittivi che consentano di adottare decisioni consapevoli e basate sui dati reali, aumentando l’affidabilità e la tempestività delle decisioni.
Considerata la velocità delle evoluzioni tecnologiche in atto, con la proposta del presente documento, AgID intende offrire uno strumento di lavoro utile a garantire il costante adattamento delle organizzazioni pubbliche ai cambiamenti imposti dalla rivoluzione digitale. Gli Allegati alle Linee Guida proposte, infatti, rappresentano degli strumenti operativi e di supporto per le Pubbliche Amministrazioni, che, secondo la proposta AgID, potranno essere adeguati, in termini di contenuti, a seguito di evoluzioni tecnologiche e quindi di cambiamenti nei contesti applicativi.

L’apertura della consultazione pubblica da parte dell’AgID testimonia, di per sé, la volontà di contestualizzare tali linee guida in un panorama tecnologico in continuo cambiamento, dove appare sempre più necessario considerare simultaneamente gli impatti relativi all’adozione dell’IA sugli aspetti organizzativi, normativi e amministrativi dell’attività pubblica.

Attraverso le Linee Guida proposte, AgID individua alcuni ambiti prioritari per l’adozione dell’IA al fine di migliorare l’efficienza operativa delle Pubbliche Amministrazioni, nell’ottimizzazione dell’allocazione delle risorse, ad esempio individuando priorità e focalizzandosi sulle aree di maggiore necessità sul territorio, o nel miglioramento della gestione documentale per automatizzare la classificazione, l’archiviazione e il recupero dei documenti, agevolandone la ricerca e riducendo i tempi di gestione, aspetto quanto mai cruciale anche per il settore e per la filiera delle costruzioni .

Inoltre, tra gli ambiti prioritari per l’adozione dell’IA si identifica anche l’analisi normativa e giurisprudenziale, per l’elaborazione di pareri legali più accurati e tempestivi e per il monitoraggio legislativo più in generale. Anche gli aspetti legati alle procedure di acquisto possono essere ottimizzati grazie all’uso dell’IA, migliorando sia l’efficienza che la trasparenza del processo di acquisto pubblico.

36

Proponiamo di ampliare la strumento di valutazione del rischio legato all’adozione di IA, per tenere conto di aspetti legati ai modelli e sistemi GPAI. In alternativa, lo strumento proposto potrebbe essere ampliato tenendo conto dei modelli e sistemi GPAI in modo più ampio e significativo.

Inoltre, si suggerisce di introdurre criteri aggiuntivi per la valutazione e selezione dei diversi fornitori. Ad esempio, criteri come la trasparenza, la sicurezza, la explainability ed il rischio intrinseco (AI Safety) di un sistema IA dovrebbe essere centrali nella valutazione dei vari fornitori. Questo ridurrebbe i rischi legali e di impatti negativi sulla società, incentivando i fornitori ad aumentare gli standard legati a questi criteri per avere accesso alle opportunità che la PA digitale offre.

Redatto da CePTE (Centro per le Politiche sulle Tecnologie Emergenti).

37

Proponiamo di ampliare la strumento di valutazione del rischio legato all’adozione di IA, per tenere conto di aspetti legati ai modelli e sistemi GPAI. In alternativa, lo strumento proposto potrebbe essere ampliato tenendo conto dei modelli e sistemi GPAI in modo più ampio e significativo.

Inoltre, si suggerisce di introdurre criteri aggiuntivi per la valutazione e selezione dei diversi fornitori. Ad esempio, criteri come la trasparenza, la sicurezza, la explainability ed il rischio intrinseco (AI Safety) di un sistema IA dovrebbe essere centrali nella valutazione dei vari fornitori. Questo ridurrebbe i rischi legali e di impatti negativi sulla società, incentivando i fornitori ad aumentare gli standard legati a questi criteri per avere accesso alle opportunità che la PA digitale offre.

Redatto da CePTE (Centro per le Politiche sulle Tecnologie Emergenti).

38

Si rileva, innanzitutto, una criticità generale legata alla poca praticità delle indicazioni contenute nelle Linee Guida e negli Allegati. A tal proposito, si suggerisce di integrare le Linee Guida con strumenti operativi concreti che supportino praticamente la PA nell’adozione del modello e nella gestione della documentazione e degli Allegati alle Linee Guida.
Con riferimento in particolare al par. 4.5 dedicato ai casi d’uso e in particolare all’Allegato F, si rileva una criticità legata all’astrattezza e mancanza di indicazioni pratiche presenti nel documento, che sarebbero utili al fine di indirizzare anche operativamente la PA nell’applicazione di casi d’uso specifici e conseguentemente nella documentazione degli stessi.

39

  1. In merito alla classificazione dei sistemi IA sulla base del rischio (§3.3) si suggerisce di inserire il Rischio sistemico dei GPAI tra Alto rischio e Rischio limitato, come più congruo (v. art. 52, 53, 63 dell’AI Act), essendo i sistemi GPAI soggetti a possibile escalation verso l’Alto Rischio.

  2. Il §4.7 “Gestione del rischio” e l’allegato B trattano dell’analisi dei rischi, ma non della loro gestione (es. contromisure per mitigare i rischi individuati). Inoltre, vanno aggiunte anche le categorie di “rischio limitato” e soprattutto di “rischio sistemico”, non trattati nel paragrafo. Va inoltre specificato che a valle dell’analisi del rischio può cambiare la classificazione di rischio del sistema di IA (escalation del rischio): un sistema a rischio inferiore o sistemico può diventare ad Alto Rischio, su cui si applicano le prescrizioni aggiuntive dell’AI Act; tale analisi andrà poi ripetuta nel tempo, in coerenza con Allegato B al §B.5 “Monitoraggio”, specificando che andrà valutata la possibile escalation del rischio, che può dipendere anche da fattori esterni, ad es. l’evoluzione dell’apprendimento nel tempo del Sistema di GPAI.

  3. Enterprise Architecture: al §4.1 Strategia per l’IA, tra le azioni si propone di aggiungere: “definire lo scenario target della Strategia di IA sulla Enterprise Architecture della PA in termini di impatti attesi su organizzazione, processi, informazioni, applicazioni e infrastrutture tecnologiche.” - la modifica si rende necessaria perché con l’avvento della GenAI e dell’Agentic AI nei prossimi mesi/anni si prevedono forti impatti su organizzazione, processi e parco applicativo e tecnologico, con discontinuità e impatti trasversali laddove c’e’ interazione automatizzata con gli “umani” (sia personale interno che i cittadini).

  4. Nelle Linee Guida, ed in particolare nel §4 Modello di Adozione dell’IA, manca il concetto di business case (valutazione dei costi e dei benefici economici delle singole iniziative) e nel complesso della strategia dei costi e saving/benefici economici previsti. Si suggerisce di aggiungere un bullet specifico nel §4.1 quale ad es. “valutare costi e benefici economici attesi per le iniziative individuate per favorire una programmazione economica a breve/medio e lungo termine”.

  5. Per migliorare l’efficacia delle linee guida, sarebbe utile rafforzare l’integrazione tra framework, normative e procedure operative, ridurre i rimandi a documenti esterni fornendo sintesi più chiare e inserire esempi pratici di applicazione. Il documento rappresenta un passo importante verso l’adozione consapevole dell’IA nella PA, ma necessita di ulteriori affinamenti per renderlo più concreto e operativo.

  6. Altri elementi da considerare: conservazioni dei dati prodotti da IA a norma; gestione cooperativa e collaborativa per la realizzazione di algoritmi/sistemi di IA di interesse comune a più PA con istituzione di un apposito registro presso Agid; riuso delle buone pratiche di algoritmi/modelli/sistemi di IA ma prevedendo un opportuno processo di gestione; promozione di un’analisi giuridica nel caso in cui l’uso dell’IA sia funzionale allo svolgimento di procedimenti amministrativi; logiche open source per la realizzazione degli algoritmi; buone pratiche organizzate con esempi per cluster di Pa (es. per scuole, per comuni, per tribunali, …); Gestione della documentazione degli algoritmi; analisi e gestione delle criticità del processo di addestramento dei modelli di IA.

40

Il par. 4.7 dedicato alla gestione del rischio richiama l’Allegato B quale modello per la valutazione del rischio per i sistemi di IA ad alto rischio, specificando poi che per i sistemi “di rischio minimo o nessun rischio” le PA potrebbero effettuare una valutazione del rischio in forma semplificata. A tal proposito, sarebbe utile avere anche un modello di valutazione del rischio semplificata, in modo da rendere uniforme anche questo tipo di gestione del rischio e garantire l’applicazione del risk based approach anche per i sistemi non ad alto rischio.
Inoltre, in tale paragrafo potrebbe essere definito con maggior chiarezza l’intero processo di gestione del rischio, comprendendo la valutazione del rischio e la valutazione di impatto, trattata nel successivo par. 4.8.
Il par. 4.8 risulta molto sintetico e meriterebbe di essere maggiormente approfondito e in esso risiedono le medesime criticità indicate in precedenza, ossia una insufficiente guida pratica e applicativa delle indicazioni fornite.

41

Questo argomento è stato automaticamente chiuso dopo 35 giorni. Non sono permesse altre risposte.