Una risposta può essere chiara, ben scritta e perfettamente plausibile, ma contenere comunque un errore. È uno degli aspetti più sorprendenti di strumenti come ChatGPT: riescono a comporre testi articolati, spiegare concetti complessi, tradurre, programmare e sostenere una conversazione, eppure possono inventare un dato, sbagliare un passaggio logico o perdersi davanti a un compito apparentemente semplice. Per capire perché accade, bisogna partire da come imparano a usare il linguaggio.

Una macchina delle probabilità

«Alla base di ChatGPT ci sono i Large Language Models, o LLM: modelli addestrati su enormi quantità di testi. Durante l’addestramento, il modello impara a rappresentare le parole come vettori, cioè rappresentazioni numeriche, e a utilizzare queste rappresentazioni per prevedere quale parola sia più probabile dopo una determinata sequenza di testo», spiega Raffaella Bernardi, professoressa di Natural Language Processing alla Facoltà di Ingegneria di unibz.

Ripetendo questo esercizio un numero enorme di volte, il sistema individua regolarità anche molto complesse. Impara, per esempio, la struttura delle frasi, le concordanze grammaticali e relazioni che possono estendersi per molte righe di testo. Le fasi successive di addestramento gli insegnano inoltre a seguire istruzioni, sostenere un dialogo e affrontare problemi. È così che un meccanismo basato sulla previsione del testo arriva a mostrare capacità che assomigliano al ragionamento.

Questo processo, però, spiega anche il limite fondamentale del modello: una risposta probabile non è necessariamente una risposta vera. Il sistema costruisce la continuazione che appare più adatta in base alle regolarità apprese, ma la probabilità linguistica non offre, da sola, una garanzia sulla correttezza dei contenuti. Un modello linguistico può quindi produrre una frase molto convincente anche quando l’informazione è sbagliata. 

«Consideriamo ad esempio due frasi: “La porta è aperta” e “La porta non è aperta”. Per noi la parola “non” capovolge il significato. Per un modello, invece, le due frasi condividono quasi tutti gli elementi e ricorrono spesso in contesti simili. Questo non significa che ChatGPT confonda sempre una negazione così semplice: le costruzioni frequenti vengono generalmente gestite bene. La difficoltà può emergere quando la negazione compare in espressioni nuove, figurate o in situazioni in cui il significato deve essere collegato a un contesto preciso», continua Bernardi.

Parole grammaticali e logiche come “non”, “tutti” o “alcuni” sono brevi e molto comuni, ma possono modificare radicalmente il contenuto di una frase. Proprio per questo rappresentano un banco di prova interessante: la somiglianza tra le parole presenti non coincide necessariamente con la somiglianza tra i significati. Interpretare correttamente richiede quindi non solo competenza linguistica, ma anche la capacità di ancorare il linguaggio a una situazione concreta.

Gli errori dei modelli linguistici possono assumere forme diverse. Ci sono gli errori fattuali, quando il sistema, ad esempio, inventa una fonte, errori di ragionamento, quando un procedimento contiene passaggi incoerenti o porta a una conclusione che non segue dalle premesse, ed errori di comprensione del contesto, quando il modello confonde due soggetti oppure non tiene conto di come una situazione si è trasformata nel tempo. La difficoltà è che spesso questi errori non sono segnalati dal tono della risposta. Il modello può esprimere un’informazione falsa con la stessa fluidità e sicurezza con cui ne formula una corretta.

Come usarlo con senso critico

«Sapere che ChatGPT può sbagliare non significa considerarlo inutile. I modelli linguistici possono essere strumenti preziosi per dare forma alle proprie idee, riorganizzare un testo, esplorare un argomento o ottenere una prima spiegazione, ma non dovrebbero diventare un’autorità a cui delegare il giudizio finale: quando la precisione conta, è opportuno chiedere su quali fonti si basa una risposta e consultarle direttamente», conclude Bernardi.

Non conosciamo ancora in modo completo e prevedibile tutto ciò che avviene all’interno di questi sistemi. Esistono metodi per analizzarne il comportamento e osservare quali componenti si attivano durante un compito, ma manca ancora una teoria capace di anticipare con certezza come reagiranno a ogni input. Per questo la ricerca studia non soltanto come renderli più affidabili e prevedibili, ma anche come valutarne le capacità di ragionamento e di comprensione delle conversazioni e delle sequenze di eventi, ad esempio quando linguaggio, immagini e video devono essere messi in relazione: temi sui quali lavora anche la professoressa Bernardi.