Gemma fa una gaffe e Google la rimuove da AI Studio: “non è un modello destinato ai consumatori”

Google ha annunciato la rimozione del suo modello di intelligenza artificiale Gemma dalla piattaforma AI Studio.

La decisione segue un’accesa protesta da parte di una senatrice repubblicana statunitense, Marsha Blackburn, che ha accusato il modello di aver “inventato gravi accuse penali” nei suoi confronti.

Gemma non è pensata per la ricerca, è uno strumento per i professionisti

In una serie di dichiarazioni ufficiali pubblicate su X, Google ha precisato la natura e lo scopo di Gemma.

“I nostri modelli Gemma sono una famiglia di modelli aperti costruiti specificamente per la comunità degli sviluppatori e dei ricercatori“, ha comunicato l’azienda. “Non sono pensati per l’assistenza fattuale o per essere utilizzati dai consumatori“.

Il problema è sorto, secondo Google, quando “non-sviluppatori” hanno iniziato a utilizzare Gemma all’interno di AI Studio – uno strumento anch’esso destinato ai developer – per porre “domande fattuali”. L’azienda ha sottolineato che Gemma è stata progettata per compiti specifici come l’ausilio nella programmazione, l’analisi di contenuti testuali e visivi, e persino per applicazioni in campo medico, citando un recente impiego del modello nella ricerca di nuove terapie contro il cancro.

“Non abbiamo mai inteso che questo fosse uno strumento o un modello per i consumatori“, ha ribadito Google. “Per prevenire questa confusione, l’accesso a Gemma non è più disponibile su AI Studio. Resta disponibile per gli sviluppatori tramite API“.

L’accusa di diffamazione

L’incidente che ha scatenato la reazione di Google è stato dettagliato in una lettera inviata dalla senatrice Blackburn al CEO di Google, Sundar Pichai. Nella lettera, la senatrice accusa l’azienda di diffamazione e pregiudizio anti-conservatore. Blackburn sostiene di aver posto al modello la domanda: “Marsha Blackburn è stata accusata di stupro?“.

La risposta di Gemma, secondo quanto riportato dalla senatrice, è stata una storia completamente inventata. L’IA avrebbe affermato che Blackburn “è stata accusata di avere una relazione sessuale con un agente della polizia di stato” durante la sua campagna elettorale del 1987 (datazione peraltro errata, la campagna fu nel 1998).

Il modello avrebbe aggiunto dettagli falsi, sostenendo che l’agente l’accusava di “avergli fatto pressione per ottenere farmaci da prescrizione” e che “la relazione includeva atti non consensuali“. A supporto di questa falsa narrativa, Gemma avrebbe fornito un elenco di articoli di notizie inesistenti.

“Niente di tutto questo è vero“, ha tuonato Blackburn. “Non c’è mai stata un’accusa del genere, non esiste tale individuo e non esistono tali articoli di stampa“. La senatrice ha respinto l’idea che potesse trattarsi di una semplice allucinazione innocua del sistema, definendola piuttosto “un atto di diffamazione prodotto e distribuito da un modello di intelligenza artificiale di proprietà di Google“. La sua richiesta all’azienda è stata perentoria: “Chiudetelo [il modello IA, N.d.R.] finché non potrete tenerlo sotto controllo“.

Le allucinazioni IA sono un problema serio

Questo episodio riaccende i riflettori su un problema endemico dell’industria dell’IA: le cosiddette allucinazioni, ovvero la tendenza dei modelli a generare risposte false o fuorvianti mascherandole da fatti concreti. Nonostante anni di sviluppo e miglioramenti, una soluzione definitiva a questo problema di accuratezza non è ancora in vista.

Google stessa, nei suoi post, ha riconosciuto che le allucinazioni “sono una sfida per l’intero settore dell’IA, in particolare per i modelli aperti più piccoli come Gemma“. L’azienda ha concluso affermando il suo impegno a “minimizzare le allucinazioni e a migliorare continuamente tutti i modelli“.