La consultazione pubblica è attiva dal 18/02/2025 al 20/03/2025.
Questo argomento accoglie i commenti relativi all’allegato I - Indicatori di prestazione.
I commenti dovranno includere il numero del paragrafo o sotto-paragrafo (se presente) e un riferimento puntuale al brano di testo al quale si riferiscono (ad esempio paragrafo 4.3, terzo capoverso).
Tasso di equità (Equity rate - ER) : Si suggerisce di chiarire all’interno dello score il significato di decisioni discriminatorie/ non discriminatorie, o sostituire il KPI con uno o più riferimenti a metriche che derivano dall’analisi dello stato dell’arte di Fairness degli algoritmi di AI.
ALLEGATO 1 – INDICATORI DI PRESTAZIONE
Si suggerisce di prevedere diversi indicatori di prestazione per la PA in veste di fornitore e in veste di deployer.
Sarebbe utile spostare questa parte all’inizio degli allegati o applicarla ad ognuna delle sezioni specifiche.
Per InfoCert S.p.A.: Allegato I: Indicatori di prestazione
Chiarimenti sugli SLA: potrebbe emergere un’ambiguità interpretativa rispetto ai valori di SLA riportati nell’Allegato I. In particolare, si dovrebbe chiarire in modo esplicito che i valori indicati sono puramente esemplificativi e non devono essere considerati prescrittivi o applicabili indistintamente a tutte le soluzioni di IA adottate dalla PA.
A titolo di esempio, il parametro “Tempo medio di risposta (RT)” è definito nell’Allegato I con la formula: (somma dei tempi di risposta per ogni richiesta) / (N. richieste totali)
e viene indicato uno SLA pari a ≤ 200 ms per richiesta in scenari di utilizzo normale. Tale valore, potrebbe non essere realisticamente applicabile a tutte le soluzioni IA, in quanto il tempo di risposta dipende da molteplici fattori, tra cui la tipologia di applicazione, il contesto d’uso e i requisiti di sistema.
Suggerimento: per eliminare possibili fraintendimenti, suggeriamo di esplicitare con maggiore chiarezza che gli SLA proposti sono valori indicativi ed esemplificativi, da adattare caso per caso in base all’applicazione specifica della soluzione di IA.
A tal fine, potrebbe essere utile introdurre una sezione introduttiva nell’Allegato I che precisi esplicitamente la natura orientativa di tali valori e la necessità di definirli in modo contestualizzato per ogni specifico caso d’uso.
La lista di KPI è eccellente. Allo stesso tempo, però, dovrebbe essere reso chiaro come non non tutti questi KPI si applicano a tutti i sistemi. Per esempio, per suggerimenti e raccomandazioni (F.4 in Allegato G), non è sempre possibile misurare l’accuratezza, siccome non esiste un’unica risposta corretta. Al contrario, altri KPI possono essere inclusi che si applicano solo ad un sottoinsieme di sistemi, come ad esempio evitare output tossici (con contenuto denigratorio od offensivo), che si applica a sistemi di IA generativa.
Redatto da CePTE (Centro per le Politiche sulle Tecnologie Emergenti).
Proposta di nuovo Allegato: Metodologie di testing e validazione dei sistemi di IA
Il presente allegato descrive le metodologie di testing e validazione dei sistemi di Intelligenza Artificiale (IA) adottati nella Pubblica Amministrazione ( PA), con l’obiettivo di garantire affidabilità, equità, trasparenza e conformità normativa.
Le PA DEVONO implementare processi di testing strutturati, in linea con gli standard internazionali (ISO 42001, ISO 23894, AI Act, GDPR), per verificare che i sistemi IA siano sicuri, robusti e privi di distorsioni nei processi decisionali.
Di seguito un riferimento delle metodologie di testing specifiche per i sistemi IA:
| Tipologia di Test | Descrizione | Standard di riferimento |
|---|---|---|
| Test di bias e fairness | Verifica la presenza di bias nei dati e nei risultati del modello, garantendo equità nei processi decisionali. | ISO 24028, AI Act |
| Test di spiegabilità e trasparenza | Valuta la capacità del modello IA di fornire decisioni interpretabili e giustificabili dagli utenti finali. | ISO 22989, AI Act |
| Test di robustezza del modello | Analizza la capacità del modello IA di mantenere prestazioni affidabili anche in presenza di variazioni nei dati in ingresso. | ISO 23894 |
| Test di drift del modello | Monitora l’evoluzione delle prestazioni del modello nel tempo per prevenire il degrado della qualità predittiva. | AI Monitoring Frameworks |
| Test di sicurezza adversarial | Simula attacchi malevoli per verificare la resistenza del modello contro manipolazioni dei dati in ingresso. | ISO 27001, ISO 24028 |
| Test di conformità normativa | Verifica che il sistema IA rispetti i requisiti di conformità previsti da GDPR, AI Act e altre normative vigenti. | ISO 42001, GDPR, AI Act |
Questo argomento è stato automaticamente chiuso dopo 35 giorni. Non sono permesse altre risposte.