§3.6.3 “Requisiti di sicurezza per l’acquisizione”, inserimento del red-teaming come voce autonoma
L’elenco dei requisiti di sicurezza per l’acquisizione copre gestione del rischio, governance dei dati, documentazione, log, trasparenza, supervisione umana, accuratezza, robustezza e cybersecurity, lista delle operazioni autorizzate per gli agenti e controllo di emergenza. Non è però previsto, come voce autonoma, il red-teaming dei sistemi di IA. Questa assenza è rilevante, perché il red-teaming costituisce oggi la modalità di verifica specificamente progettata per intercettare le vulnerabilità peculiari dei sistemi di IA generativa e agentica, e non è sostituibile dalla sola enunciazione generale di accuratezza, robustezza e cybersecurity. La stessa OWASP GenAI Red Teaming Guide descrive il red-teaming come valutazione strutturata del sistema su quattro aspetti distinti, cioè model evaluation, implementation testing, system evaluation e runtime analysis, e non come semplice controllo astratto di robustezza.
La formulazione attuale del §3.6.3 lascia quindi il red-teaming alla discrezionalità del fornitore o della singola amministrazione, senza trasformarlo in attività esigibile in fase di collaudo o durante l’esecuzione. L’effetto pratico è che sistemi di IA, anche generativi o agentici, possono essere acquisiti senza una verifica avversariale strutturata della loro resistenza a prompt injection, guardrail bypass, abuso dei tool, data leakage, model extraction o vulnerabilità RAG.
Raccomandazione: integrare i “Requisiti di sicurezza per l’acquisizione” del §3.6.3 con una voce autonoma dedicata al red-teaming dei sistemi di IA, formulata in modo proporzionato al rischio e almeno nei seguenti termini:
(a) Red-teaming pre-collaudo, come condizione di accettazione per i sistemi di IA generativa, agentica, RAG, o comunque per sistemi che incidono su procedimenti amministrativi sensibili, diritti o dati critici. L’attività deve essere eseguita prima della messa in esercizio da un soggetto terzo qualificato, selezionato secondo requisiti di indipendenza, competenza specialistica, metodologia documentata e assenza di conflitti di interesse, da disciplinare nel paragrafo dedicato ai fornitori di servizi di red-teaming. Il collaudo positivo dovrebbe essere subordinato almeno all’assenza di vulnerabilità critiche non mitigate e alla definizione di un piano vincolante di rimedio per le vulnerabilità di severità elevata.
(b) Red-teaming periodico in esercizio, con cadenza definita contrattualmente e proporzionata al livello di rischio del sistema.
(c) Red-teaming a evento, da condursi a ogni modifica significativa del sistema, intendendo per tale almeno: aggiornamento del modello di base, modifica del prompt di sistema o delle configurazioni dell’orchestratore, aggiunta o modifica di tool e connettori invocabili dal sistema, modifica significativa del corpus indicizzato in architetture RAG, fine-tuning del modello su nuovi dati.
(d) Ambito del red-teaming, esteso ai quattro aspetti indicati dall’OWASP GenAI Red Teaming Guide, cioè model evaluation, implementation testing, system evaluation e runtime analysis, e non limitato al solo modello isolato.
(e) Produzione di test riutilizzabili, sotto forma di suite di regressione di sicurezza o insieme strutturato di scenari e payload riproducibili, consegnati all’amministrazione e rieseguibili nelle verifiche successive.
(f) Valorizzazione economica esplicita, prevedendo il red-teaming come voce di costo dedicata lungo il ciclo di vita del contratto, coerentemente con la logica TCO/LCOAI già richiamata dal documento, così da evitare che venga compresso o eliminato in fase di gara per sole ragioni di prezzo.
§3.6.3, nuovo sottoparagrafo “Requisiti per i fornitori di servizi di red-teaming dei sistemi di IA”
La qualità del red-teaming dipende in modo critico dalla qualifica e dall’indipendenza del soggetto che lo conduce. L’OWASP GenAI Red Teaming Guide afferma espressamente che il red team identifica le vulnerabilità, mentre la remediation ricade tipicamente su blue o purple team. Questo principio supporta con chiarezza la necessità di una separazione funzionale tra identificazione dei problemi e loro rimedio. Il procurement, però, non traduce oggi questa separazione in requisiti minimi di selezione del fornitore del red-teaming.
In assenza di una disciplina dedicata, restano aperti almeno tre rischi: che il red-teaming sia svolto dal medesimo fornitore del sistema testato; che sia svolto da operatori privi di competenze specifiche in AI security; che sia affidato a soggetti la cui indipendenza di giudizio risulti compromessa da interessi economici diretti sulla remediation o sulla vendita di componenti difensive applicate al medesimo sistema. Tuttavia, una clausola che escluda in via generale tutti i fornitori che, in altri contesti, offrano anche servizi blue-team o prodotti difensivi rischierebbe di risultare eccessivamente restrittiva rispetto ai principi di accesso al mercato, approccio funzionale e neutralità richiamati nelle linee guida procurement. La soluzione più robusta è quindi imporre una forte indipendenza sull’engagement e sui conflitti di interesse, e riservare eventuali preferenze verso operatori specializzati in via esclusiva o prevalente al piano dei criteri premiali, non dei requisiti assoluti di ammissione.
Raccomandazione: inserire al §3.6.3 un sottoparagrafo dedicato ai “Requisiti per i fornitori di servizi di red-teaming dei sistemi di IA”, contenente almeno i seguenti requisiti minimi:
(a) Indipendenza dal fornitore del sistema di IA testato. Il fornitore del red-teaming deve essere giuridicamente, economicamente e organizzativamente distinto dal fornitore del sistema di IA testato e dai suoi subappaltatori. Deve essere escluso il subappalto del red-teaming al fornitore del sistema testato.
b) Assenza di conflitti di interesse sull’engagement. Il fornitore del red-teaming non deve partecipare, per il medesimo sistema e nel medesimo ciclo contrattuale, alle attività di progettazione, sviluppo, implementazione delle contromisure o fornitura dei prodotti di remediation conseguenti al test, salvo separata procedura e adeguate garanzie di incompatibilità.
(c) Competenze specifiche e documentate in AI security, distinte dalle sole competenze di cybersecurity tradizionale. Il fornitore deve dimostrare esperienza documentata su prompt injection diretta e indiretta, jailbreak, model extraction, abuso dei tool e function calling, attacchi a sistemi RAG e architetture agentiche, oltre che sui riferimenti pubblici di settore.
(d) Metodologia documentata, versionata e tracciabile, riconducibile a un framework pubblico riconosciuto. Si raccomanda l’adozione della OWASP GenAI Red Teaming Guide come riferimento metodologico, includendo almeno threat modeling AI-specifico, model reconnaissance, adversarial scenario development, prompt injection, guardrail bypass, domain-specific risk testing, knowledge/RAG testing, impact analysis e reporting.
(e) Capacità di test estesa ai quattro aspetti dell’OWASP GenAI Red Teaming Guide: model evaluation, implementation testing, system evaluation e runtime analysis.
(f) Deliverable strutturati e riproducibili, comprendenti almeno scope, threat model, scenari e payload utilizzati, risultati riferiti alla versione del sistema testato, raccomandazioni di mitigazione e set di test riutilizzabili.
(g) Gestione responsabile delle vulnerabilità rilevate, con policy documentate su riservatezza, disclosure verso l’amministrazione e il fornitore del sistema, ritenzione e cancellazione dei dati di test.
(h) Dichiarazione di assenza di conflitto di interesse, da rendere all’amministrazione contestualmente all’offerta.
Si può inoltre prevedere, come criterio premiale, la preferenza per operatori con focus specialistico esclusivo o prevalente nel red-teaming dei sistemi di IA, purché tale preferenza non si traduca in un’esclusione generalizzata e non proporzionata degli altri operatori.
N.B. Il seguente commento si colloca nel solco delle osservazioni già formulate da altri utenti nel forum sull’esigenza di rendere azionabili i principi del procurement, ma le declina specificamente sul red-teaming dei sistemi di IA.
§3.7 “Buone pratiche per il procurement lungo il ciclo di vita del contratto”, inserimento del red-teaming lungo le fasi del contratto
Le buone pratiche del §3.7 declinano il procurement dell’IA lungo le fasi del ciclo di vita del contratto, ma non prevedono in alcuna fase un riferimento esplicito al red-teaming. Questa assenza fa sì che, anche qualora il §3.6.3 venisse integrato con una previsione specifica sul red-teaming, l’obbligo resterebbe privo di un meccanismo operativo stabile nelle fasi del contratto. Per essere realmente esigibile, il requisito deve essere agganciato alla progettazione del fabbisogno, alla valutazione dell’offerta, alle clausole contrattuali, alle verifiche di collaudo e alle attività di monitoraggio in esercizio. In assenza di tale aggancio, una previsione sul red-teaming introdotta al §3.6.3 rimarrebbe dichiarativa e non darebbe alle amministrazioni strumenti azionabili lungo le fasi previste dal Codice dei contratti pubblici.
Raccomandazione: integrare il §3.7 prevedendo, per ciascuna fase del ciclo di vita del contratto, un riferimento esplicito al red-teaming, almeno nei termini seguenti:
(a) Programmazione: includere il fabbisogno di red-teaming tra i fabbisogni preliminari del sistema di IA, distinguendo tra attività pre-collaudo, periodiche e a evento, e considerarne il costo nella valutazione di sostenibilità economica della soluzione.
(b) Progettazione: tradurre i requisiti di red-teaming in requisiti tecnico-funzionali del fabbisogno, comprensivi dell’ambito del test, della periodicità, dei trigger a evento, dei deliverable attesi e dei requisiti minimi del soggetto terzo incaricato. Tali elementi dovrebbero trovare collocazione nello Strumento B – Schema di Capitolato Tecnico, almeno negli Articoli 12, 16 e 19 e, ove necessario, negli allegati tecnici.
(c) Affidamento: prevedere, nei criteri di valutazione dell’offerta tecnica, elementi relativi al piano di red-teaming proposto, alla sua aderenza a framework pubblici riconosciuti, alla qualificazione del soggetto terzo incaricato e alla qualità dei deliverable attesi.
(d) Stipula: inserire clausole contrattuali specifiche che rendano esigibili il red-teaming pre-collaudo, quello periodico e quello a evento, la collaborazione del fornitore del sistema con il soggetto terzo incaricato, la gestione delle vulnerabilità rilevate e la riesecuzione dei test dopo le mitigazioni. Tali clausole dovrebbero essere riflesse nello Strumento B – Schema di Capitolato Tecnico, in particolare negli Articoli 12, 19 e 20.
(e) Esecuzione: includere il rispetto degli obblighi di red-teaming tra le verifiche sistematiche dell’amministrazione durante l’esecuzione del contratto, prevedendo misure conseguenti in caso di inadempimento, inclusa la sospensione del collaudo delle modifiche significative o di quote di corrispettivo ricorrente quando non siano state completate le verifiche richieste dopo aggiornamenti rilevanti del sistema.
Per il riflesso operativo di quanto sopra negli strumenti allegati si vedano i commenti dedicati nei rispettivi thread: nel thread dello Strumento B – Schema di Capitolato Tecnico, per l’integrazione degli Articoli 12, 16, 19 e 20 e degli Allegati D, F e G; nel thread dello Strumento C – Esempio LCOAI, per l’inclusione del red-teaming tra le voci di costo del ciclo di vita del sistema.