Anche l'IA soffre di insicurezza, va in crisi se messa in dubbio

Anche l'Intelligenza Artificiale soffre di insicurezza : quando si mette in discussione una loro affermazione, i modelli linguistici di grandi dimensioni (Llm) come Gpt4 tendono ad andare in difficoltà e danno risposte meno affidabili . Lo indica lo studio realizzato dai ricercatori di Google DeepMind e dell'University College di Londra e postato su arXiv, la piattaforma che ospita studi non ancora revisionati dalla comunità scientifica.

Gli Llm sono sistemi di Intelligenza Artificiale con grandi capacità comunicative, ma il loro linguaggio nasce essenzialmente da analisi statistiche relative alla successione corretta delle parole . Poiché vengono utilizzati sempre più diffusamente in tanti settori, dalla finanza alla sanità, è fondamentale che gli Llm abbiano un alto livello di accuratezza e affidabilità . Tuttavia lo studio indica che, in alcuni casi , la loro sicurezza può vacillare .

In particolare, i grandi modelli linguistici perdono sicurezza quando il loro interlocutore risponde a un'affermazione usando contro-argomenti sbagliati , e viceversa acquisiscono fin troppa sicurezza quando trovano conforto. Questa caratteristica è emersa soprattutto con modelli come Gemma 3, GPT4o e o1-preview.

I ricercatori hanno osservato che, quando un Llm fornisce una risposta non propriamente corretta ma l'interlocutore gli dà comunque ragione , il modello aumenta la sua fiducia e tende a perseverare nella sua affermazione anche in presenza di prove contrarie.
Viceversa, quando fa un' affermazione corretta che poi viene messa in dubbio dall' interlocutore , tende facilmente a perdere fiducia , in altre parole "attribuiscono un peso eccessivo ai consigli contrari, con conseguente notevole perdita di fiducia nella loro risposta iniziale", scrivono gli autori della ricerca. Queste osservazioni si aggiungono a molti altri studi che dimostrano come i testi prodotti dall'IA siano ancora soggetti a molte possibili fonti di errore e di quanto lavoro sia ancora necessario prima di poter rendere gli Llm strumenti davvero affidabili .