Commento su Strumento A – Termini e definizioni
Lo Strumento A include, nella sezione F. Sicurezza, voci quali “Security by design” (126), “Vulnerability Assessment” (131) e “Penetration Test” (132), mentre nella sezione E. Qualità, rischio e conformità definisce, tra l’altro, la “Robustezza” (106). Non compare tuttavia alcuna voce dedicata al red-teaming dei sistemi di IA, né ai concetti correlati di verifica avversariale.
L’assenza del termine nel glossario rende più fragili i riferimenti operativi proposti nei commenti alle Linee guida procurement, allo Schema di Capitolato Tecnico e all’esempio LCOAI. Un glossario condiviso è precondizione per un uso uniforme in fase di gara, collaudo ed esecuzione. Oggi il documento definisce controlli e pratiche di sicurezza tradizionali, ma non include la nozione di red-teaming dei sistemi di IA, che è invece ormai centrale nei sistemi generativi e agentici. La definizione dovrebbe essere mantenuta neutrale rispetto ai fornitori e ancorata a fonti riconosciute e ampiamente utilizzate.
Raccomandazione: inserire nella sezione F. Sicurezza dello Strumento A una nuova voce, con formulazione del tipo:
Red-teaming (di sistemi di IA). Attività strutturata di verifica avversariale condotta su un sistema di intelligenza artificiale allo scopo di identificare vulnerabilità, comportamenti indesiderati e modalità di abuso non rilevabili tramite i soli test funzionali. Comprende, in funzione del sistema, la valutazione del modello, dell’implementazione, del sistema nel suo complesso e del comportamento a runtime, coprendo tra l’altro prompt injection diretta e indiretta, jailbreak, bypass delle guardrail, abuso di tool e connettori, attacchi alle pipeline RAG, estrazione di modello e di dati. Può essere eseguito prima del collaudo, con cadenza periodica e in occasione di eventi rilevanti quali aggiornamenti del modello, modifiche del system prompt, variazioni di tool/connettori, modifiche del corpus RAG, nuovo fine-tuning o modifica delle guardrail. Il red-teaming è funzione distinta dalle attività di mitigazione e hardening, tipicamente condotte da team “blue” o “purple”.
Fonte: coerente con OWASP GenAI Red Teaming Guide, NIST AI 100-2, NIST AI 600-1, MITRE ATLAS.
In coerenza, valutare l’inserimento di voci correlate utili al testo di capitolato, tra cui “Prompt injection”, “Jailbreak” e “Guardrail”. Se si ritiene utile inserire anche “AI-BOM”, tale voce starebbe più naturalmente nella sezione G. Procurement e contrattualistica, e non in quella di sicurezza.