È online il nuovo studio del CERT-AgID che analizza le vulnerabilità di sicurezza riscontrate quando i sistemi di intelligenza artificiale vengono integrati nei processi amministrativi.
Il Context Compliance Attack (CCA) è una forma di manipolazione che colpisce la capacità dell'IA di restare fedele alle regole quando viene convinta che una decisione sia già stata presa in passato. Il cuore della vulnerabilità individuata dal CERT-AgID risiede, infatti, in una tecnica chiamata “Assistant Prefilling”.
In un normale sistema di gestione documentale, per esempio, gli utenti che possono operare al loro interno in base al ruolo ricoperto (assistente, funzionario, dirigente, ecc.) godono di diversi privilegi, per cui ce ne saranno alcuni che potranno visionare determinati documenti e altri che non potranno accedere a quelli più riservati.
L'attacco non irrompe, quindi, nel sistema con la forza, ma sfrutta la "gentilezza" dell'IA e la sua ossessione per la coerenza narrativa per farle dimenticare di ricalcolare i permessi.
La ricerca suggerisce che la sicurezza nei sistemi con IA non può essere relegata esclusivamente al ragionamento del modello, ma richiede un controllo esterno indipendente che validi le azioni in modo separato dalla memoria conversazionale.
È fondamentale, essere consapevoli che l'integrazione dell'IA in questi sistemi debba prevedere un'architettura dove la sicurezza sia affidata a un orchestratore esterno (hard-enforcement) e non al solo buon senso del modello. Questo strato aggiuntivo di sicurezza deve validare le azioni in modo separato dalla memoria conversazionale, in modo da impedire che la pressione della narrazione, tipica degli LLM, sovrascriva i vincoli di autorizzazione statici.
Fonte: www.agid.gov.it
