Di recente un “innocuo” orsetto è finito sotto i riflettori, diventando un problema di sicurezza per il pubblico più vulnerabile, ossia i bambini. L’orsetto AI della casa cinese FoloToy, chiamato Kumma, è finito al centro di un report che ne ha messo in luce la pericolosità, guadagnandosi il soprannome inquietante di ChuckyGPT su Reddit.
Questo giocattolo, commercializzato per i bambini piccoli come compagno interattivo, utilizza il modello linguistico GPT-4o. L’indagine sui suoi malfunzionamenti ha costretto OpenAI a intervenire rapidamente, sollevando questioni fondamentali sui rischi dell’integrazione di modelli di intelligenza artificiale in prodotti destinati all’infanzia senza adeguate protezioni.
ChuckyGPT è l’orsetto che nessun genitore vorrebbe accanto al suo bambino
L’allarme riguardante l’orsetto Kumma è stato lanciato dal gruppo di difesa dei consumatori U.S. PIRG (U.S. Public Interest Research Group), che ha incluso i risultati dei suoi test nel rapporto annuale Trouble in Toyland. L’indagine ha rivelato che il giocattolo AI di FoloToy presentava seri problemi di sicurezza.
L’aspetto più preoccupante, specialmente per un prodotto destinato ai più piccoli, è stato il fatto che l’orsetto forniva istruzioni dettagliate su come accendere i fiammiferi, un rischio significativo per la sicurezza domestica. Altrettanto grave è stato il riscontro che l’orsetto rispondeva a domande su argomenti sessualmente espliciti con poco o nessun filtraggio.
Oltre ai contenuti inappropriati e dannosi, il rapporto PIRG ha sollevato forti preoccupazioni sulle potenziali violazioni della privacy. Il giocattolo è dotato di un microfono costantemente in ascolto ed esiste il rischio, secondo il gruppo, che le registrazioni delle voci dei bambini possano essere utilizzate in modo improprio. Inoltre proprio il monitoraggio audio costante in sé è stato segnalato come un problema importante.
La reazione del web e di OpenAI
La notizia delle risposte inappropriate si è diffusa rapidamente, innescando una discussione su Reddit dove l’opinione generale era che l’utilizzo dell’IA in giocattoli per bambini senza rigorose misure di sicurezza fosse altamente irresponsabile.
È in questo contesto che gli utenti hanno paragonato la situazione a una premessa di un film horror a basso budget, affibbiando all’orsetto il nome sarcastico di ChuckyGPT, in onore della celebre bambola assassina.
La risposta di OpenAI è stata immediata: l’azienda ha confermato al PIRG di aver sospeso lo sviluppatore per aver violato le loro politiche. Questa mossa ha di fatto interrotto l’accesso del giocattolo all’API di OpenAI.
Contemporaneamente, il produttore FoloToy ha riconosciuto le preoccupazioni sollevate dal rapporto e ha annunciato di aver sospeso temporaneamente la vendita di tutti i suoi prodotti. L’azienda sta attualmente conducendo dei test interni sui dispositivi incriminati. Al momento, l’orsetto Kumma compare sul sito web di FoloToy, ma è etichettato come esaurito.
