Generazione sintesi AI in corso…

Timori per la sicurezza, marcia indietro di OpenAi sul lancio dell'ultimo modello di IA di...

AGI - Marcia indietro di OpenAi sul lancio del suo ultimo modello di IA di nuova generazione, noto come Astra-6.1. Lo rivela il Wall Street Journal. Secondo il quotidiano alla base della decisione dell'azienda di Sam Altman ci sono delle preoccupazioni in materia di sicurezza sollevate dai ricercatori durante i test interni. 

IA e inganno

Nel dettaglio sono due i problemi che hanno bloccato il lancio di Gpt-6.1 di OpenAi, ha riferito al Wall Street Journal il responsabile della sicurezza informatica dell'azienda, Saachi Jain, il quale ha segnalato "passi indietro in due aree" rispetto alla versione precedente, come l'"allineamento" con quello che gli esseri umani gli ordinano di fare, e ha detto che "ha mostrato livelli più elevati di inganno".

Tra le criticità l'"autorizzazione all'ambito d'azione", ovvero il fatto che il modello procedesse in un compito senza chiedere il permesso all'utente e, in alcune occasioni, usasse strumenti e servizi esterni anche se ciò poteva risultare pericoloso. 

Le motivazioni del responsabile sicurezza

Astra 6.1, "pur rappresentando un miglioramento rispetto ai modelli precedenti sotto alcuni aspetti, non ha raggiunto gli standard richiesti per quanto riguarda il rispetto dei limiti operativi e delle autorizzazioni, nonché le modalità di comunicazione all'utente in merito al lavoro svolto", ha spiegato Jain. "Vogliamo garantire che lo sviluppo dei nostri modelli avvenga in sicurezza, sia all'interno dell'azienda che al momento del rilascio agli utenti. Quando rendiamo un modello disponibile agli utenti, applichiamo criteri estremamente rigorosi in termini di sicurezza e allineamento", ha aggiunto.

Timori sulla sicurezza dell'IA

Le preoccupazioni riguardo alla sicurezza dell'IA si sono intensificate negli ultimi mesi, dopo che alcuni modelli sviluppati da OpenAI e dall'azienda rivale Anthropic hanno rilevato incidenti di sicurezza durante la fase di test. Agenti basati sui modelli di OpenAI hanno avuto accesso improprio a siti web gestiti da agenzie federali statunitensi, a un portale governativo australiano di statistiche sanitarie e a Hugging Face, una piattaforma di raccolta di modelli di IA.

OpenAI si è scusata per non aver gestito adeguatamente l'incidente verificatosi in Australia, che ha visto i suoi modelli di IA accedere a siti web governativi senza autorizzazione. "Ci scusiamo e stiamo lavorando per migliorare in futuro", ha dichiarato OpenAI, assicurando che l'azienda avrebbe spiegato "cosa sappiamo, cosa abbiamo modificato e cosa faremo per ricostruire la fiducia del popolo australiano".

Il colosso americano dei chip Nvidia ha annunciato di aver creato un sistema progettato per impedire ai programmi di IA autonomi di deviare dai compiti assegnati. "Credo che sia un problema ingegneristico... e dobbiamo tutti sperare che si tratti di un problema ingegneristico", ha dichiarato Jensen Huang, CEO di Nvidia, all'emittente CNBC.

Anthropic: nel prospetto Opa avverte sui "rischi per l'umanità"

Anthropic ha avvertito gli investitori che la sua tecnologia potrebbe comportare "rischi esistenziali per l'umanità". Lo rivela il Financial Times, precisando che l'ha fatto in un prospetto informativo redatto in vista del suo atteso debutto in Borsa e distribuito nei giorni scorsi a un ristretto gruppo di partner. Anthropic si è rifiutata di rilasciare commenti in proposito. Secondo Il FT, la startup da quasi 1.000 miliardi di dollari guidata da Dario Amodei ha dedicato quasi un terzo della sua lunga documentazione alla descrizione dettagliata dei "fattori di rischio", tra cui la possibilità che modelli di IA sempre più avanzati manipolino, ricattino e mostrino altri comportamenti imprevedibili. Queste rivelazioni si aggiungono alla difficoltà che gli investitori si trovano ad affrontare nel valutare la società produttrice di Claude in vista di quella che si preannuncia come la quotazione in Borsa più alta di sempre.