§2.1 Principi generali per lo sviluppo di sistemi di Intelligenza Artificiale
Il §2.1 individua nelle architetture agentiche e a servizi, supportate da un orchestratore, l’opzione architetturale da privilegiare per lo sviluppo dei sistemi di IA nella Pubblica Amministrazione. Questa impostazione è coerente con l’obiettivo di modularità, governabilità e sostituibilità dei componenti, ma non è accompagnata, nello stesso paragrafo, da un richiamo esplicito al corrispondente impatto in termini di sicurezza. Nelle architetture agentiche, infatti, il perimetro di rischio non dipende solo dal modello, ma anche dall’insieme di tool, connettori, basi dati e sistemi esterni che il modello può raggiungere tramite orchestrazione. In architetture non adeguatamente mediate o segregate, contenuti non fidati provenienti da prompt, documenti, e-mail, pagine web o basi di conoscenza collegate possono influenzare il comportamento del sistema e propagarsi verso azioni operative o accessi a risorse sensibili.
Raccomandazione: integrare il §2.1 chiarendo che l’adozione di architetture agentiche comporta un’espansione del perimetro di sicurezza proporzionale al numero, al tipo e alla criticità dei tool, dei connettori e delle fonti dati accessibili al modello, e che tale espansione deve essere accompagnata da misure specifiche, quali mediazione dell’invocazione dei tool, allow-list esplicite, approvazioni rafforzate per le azioni sensibili e separazione tra input non fidati e capability privilegiate, con rinvio al capitolo dedicato alla cybersicurezza.
§2.2, Principio 11. Robustezza
Il Principio 11 utilizza il termine “robustezza” in un’accezione prevalentemente coincidente con la continuità operativa e la resilienza infrastrutturale, richiamando architetture modulari, degradazione graduale del servizio, fallback e riallocazione dinamica dei componenti. Nel contesto dei sistemi di IA, tuttavia, la robustezza ha una portata più ampia, coerente anche con il richiamo all’art. 15 AI Act, e include la capacità del sistema di resistere a tentativi di manipolazione, a perturbazioni intenzionali degli input e ad altre forme di attacco che incidono sul comportamento del modello. La formulazione attuale rischia quindi di essere interpretata, nei capitolati e nelle verifiche, come un requisito riferito soprattutto alla disponibilità del servizio, lasciando in secondo piano la robustezza avversariale.
Raccomandazione: distinguere esplicitamente nel Principio 11 due componenti della robustezza:
(a) robustezza operativa, relativa a continuità del servizio, fallback, degradazione controllata e resilienza infrastrutturale;
(b) robustezza avversariale, intesa come capacità del sistema di resistere ad attacchi e manipolazioni quali, almeno, data poisoning, model poisoning, adversarial examples e, per i sistemi generativi e agentici, prompt injection e manipolazione del contesto. Entrambe le componenti dovrebbero essere oggetto di metriche, test e monitoraggio.
§2.2, Principio 12. Sicurezza cibernetica
Il Principio 12 formula la sicurezza cibernetica dei sistemi di IA in termini corretti ma ancora molto generali, richiamando controllo degli accessi, segregazione dei ruoli, protezione delle pipeline di dati, gestione degli incidenti e isolamento dei componenti compromessi. Per i sistemi di IA, in particolare quelli generativi, agentici o con componenti RAG, mancano però nel principio tre elementi che renderebbero il requisito più specifico e verificabile.
Primo, manca un richiamo esplicito alla necessità di separare gli input non fidati dalle capability ad alto privilegio. Nei sistemi di IA il rischio non dipende solo dall’identità dell’utente o dal ruolo applicativo, ma anche dal livello di fiducia dei contenuti che entrano nel contesto del modello. Per questo, i componenti che elaborano input non fidati non dovrebbero poter guidare direttamente azioni sensibili o accedere senza mediazione a strumenti e sistemi privilegiati.
Secondo, manca un riferimento esplicito al testing avversariale continuo e al red-teaming dei modelli e dei sistemi di IA come attività ricorrenti lungo il ciclo di vita, non limitate al collaudo iniziale ma da ripetere a ogni modifica significativa di modelli, prompt, tool, dati o connettori.
Terzo, il principio non richiama nemmeno a titolo esemplificativo le principali categorie di attacco specifiche dei sistemi di IA, già sviluppate nel capitolo 5, quali evasion, poisoning, prompt injection, attacchi alla riservatezza e abuso dei sistemi generativi. In assenza di tale richiamo, il principio rischia di restare troppo astratto per essere tradotto in requisiti tecnici verificabili.
Raccomandazione: integrare il Principio 12 chiarendo che la sicurezza cibernetica dei sistemi di IA comprende anche:
(a) la separazione architetturale tra componenti che elaborano input non fidati e capability o sistemi ad alto privilegio;
(b) il testing avversariale continuo e il red-teaming dei modelli e dei sistemi di IA come parte della regressione di sicurezza lungo il ciclo di vita;
(c) il riferimento, almeno esemplificativo, alle principali categorie di attacco AI-specifiche, con rinvio alle tassonomie e ai framework tecnici già richiamati nel capitolo 5.
§2.2, Principio 14. Registrazioni (logging)
Il Principio 14 tratta correttamente i log come strumento di tracciabilità, audit, accountability e portabilità, ma non ne riconosce in modo esplicito la natura di asset sensibili nei sistemi di IA. Nei sistemi generativi e conversazionali, infatti, i log di prompt, output, interazioni tra agenti e pipeline di analytics possono contenere con elevata frequenza dati personali, informazioni riservate, segreti operativi o porzioni di documenti interni richiamati tramite basi di conoscenza e meccanismi di retrieval. Per questa ragione, tali log non sono solo un presidio difensivo, ma costituiscono essi stessi un potenziale vettore di esposizione o esfiltrazione, al pari di altri archivi applicativi.
Raccomandazione: integrare il Principio 14 precisando che i log di prompt, output, interazioni e le pipeline di analytics correlate devono essere trattati come asset sensibili ai fini della sicurezza e della protezione dei dati, con requisiti espliciti di minimizzazione, redazione dei dati personali, retention limitata, segregazione rispetto ai dati operativi e disciplina contrattuale espressa per ogni eventuale riuso da parte del fornitore a fini di training, fine-tuning o miglioramento del servizio, subordinato ad autorizzazione esplicita dell’Amministrazione.
§2.3.6 Principio 6. Cybersicurezza e resilienza lungo il ciclo di vita
Il §2.3.6, dedicato al Principio 6 della Legge 132/2025 sulla cybersicurezza e resilienza lungo il ciclo di vita, è formulato in modo molto sintetico e ad un livello di astrazione elevato. La previsione che i sistemi debbano essere resilienti ad attacchi e manipolazioni e che debbano essere condotti test di sicurezza lungo l’intero ciclo di vita è certamente condivisibile, ma, così come formulata, non offre elementi sufficientemente operativi per distinguere il contesto dei sistemi di IA da quello di altri sistemi informativi. La sintesi del paragrafo risulta inoltre sproporzionata rispetto alla rilevanza del tema e rispetto al maggiore dettaglio che il documento sviluppa successivamente nel capitolo 5.
Raccomandazione: espandere il §2.3.6, oppure almeno integrarlo con un rinvio esplicito ai contenuti del capitolo 5, chiarendo nel contesto specifico dei sistemi di IA:
(a) quali categorie di attacchi AI-specifici devono essere considerate, almeno a titolo esemplificativo, quali prompt injection diretta e indiretta, evasion, poisoning, attacchi alla riservatezza e abuso dei sistemi generativi;
(b) che cosa si intenda per test di sicurezza lungo il ciclo di vita nel dominio IA, con riferimento al testing avversariale ricorrente, alle suite di regressione di sicurezza e alla ripetizione dei test a ogni modifica significativa di modelli, prompt, dati, tool o connettori.