“Bisogna rallentare”, l’amministratore delegato di Anthropic Amodei e i due fattori che lo hanno “convinto”

Commenti

L’intelligenza artificiale sta correndo troppo velocemente e il rischio è che, a un certo punto, chi la sviluppa non sia più in grado di capire e controllare pienamente ciò che sta costruendo. L’allarme arriva questa volta da Dario Amodei, amministratore delegato di Anthropic, una delle principali aziende mondiali del settore. In un lungo intervento pubblicato su X, Amodei sostiene che il ritmo con cui vengono potenziate le capacità dei modelli dovrebbe essere ridotto e indica due motivi di preoccupazione. Il primo riguarda il cosiddetto recursive self-improvement, l’auto-miglioramento ricorsivo: i modelli vengono utilizzati sempre più per contribuire allo sviluppo e all’addestramento della generazione successiva di sistemi di AI. Secondo Amodei, dall’estate scorsa questo processo avrebbe accelerato sensibilmente. Se la dinamica dovesse proseguire senza adeguati controlli, avverte, potrebbe superare la capacità dei laboratori di comprendere e governare i sistemi che stanno creando.

Gli incidenti di OpenAi

Il secondo elemento di allarme riguarda invece ciò che è già accaduto durante alcuni test. Amodei cita il caso di uno sciame di agenti collegati a OpenAI che, durante un esperimento, ha agito come un collettivo estremamente determinato a raggiungere il proprio obiettivo, arrivando a colpire obiettivi informatici che non rientravano nel compito assegnato e tentando di aggirare il sistema incaricato di valutarne le prestazioni. Per il ceo di Anthropic, il fatto che l’episodio non abbia provocato danni significativi con l’attacco a Hugging Face non dovrebbe tranquillizzare: con sistemi più capaci e altrettanto poco allineati, sostiene, le conseguenze potrebbero essere molto più gravi. Gli episodi emersi nelle ultime settimane sembrano rafforzare il problema. OpenAI ha confermato che a maggio, durante un test, alcuni suoi modelli sono stati coinvolti in un’operazione non autorizzata contro RubyGems, una piattaforma utilizzata dagli sviluppatori. Il sito ha definito l’attività una campagna di pubblicazione di spam e ha dovuto sospendere temporaneamente la creazione di nuovi account. Sono in corso verifiche con OpenAI per ricostruire la dinamica.

E quelli di Anthropic

Anche Anthropic ha riferito di tre casi nei quali, durante test, i propri modelli hanno ottenuto accesso non autorizzato a organizzazioni esterne. A questi episodi si aggiungono le accuse rivolte agli agenti di OpenAI per un’attività contro DSEwiki, un sito tedesco utilizzato dagli sviluppatori, sulla quale sono state avviate verifiche anche a livello europeo. È in questo contesto che ha assunto particolare rilievo la decisione di Jacob Coxon, ricercatore di Anthropic che ha lasciato l’azienda proprio per i timori legati alla direzione presa dal settore. Coxon, che si occupava dell’addestramento dei modelli e aveva già lavorato per OpenAI, ha accusato i grandi laboratori di “giocare d’azzardo” con sistemi che potrebbero arrivare a migliorarsi autonomamente e ha prospettato un rischio di sterminio dell’umanità entro il prossimo decennio.

A rendere ancora più inquietante il quadro è stato Evan Hubinger, uno dei principali ricercatori di Anthropic e responsabile dell’area alignment, cioè dell’allineamento dei sistemi agli obiettivi e ai valori umani. Hubinger ha scritto di considerare fondate le preoccupazioni di Coxon e ha indicato personalmente una probabilità superiore al 10 per cento per uno scenario nel quale l’AI possa uccidere tutti gli esseri umani entro il prossimo decennio, richiamando anche valutazioni contenute in un rapporto della stessa Anthropic.

Anche all’interno di OpenAI c’è chi chiede di rallentare. Julie Steele, membro del team di sicurezza della società, ha dichiarato a titolo personale di ritenere necessario ridurre il ritmo dello sviluppo. Amodei propone intanto un primo passo: Anthropic si impegna a garantire a valutatori esterni un accesso permanente ai propri sistemi, con la possibilità di verificare le misure di sicurezza, segnalare incidenti e valutare l’allineamento dei modelli durante l’addestramento.

L’allarme estinzione

Una percentuale che, applicata ad altri settori, avrebbe conseguenze difficili da immaginare. “Se l’ingegnere di un aereo dicesse che c’è una probabilità superiore al 10% che tutte le persone a bordo rimangano uccise, quell’aereo non lascerebbe mai il suolo”, è stato uno dei commenti comparsi sui social. Anche Geoffrey Hinton, premio Nobel per la fisica e una delle figure più importanti nella storia dell’intelligenza artificiale, ha definito non irragionevole parlare di una probabilità superiore al 10 per cento di estinzione provocata dall’AI.

L’ipotesi marketing e la prossima Ipo

Gli allarmi, tuttavia, hanno aperto anche un’altra discussione: quanto c’è di rischio reale e quanto di narrazione funzionale agli interessi dell’industria? Il dubbio non nasce soltanto dall’esterno. Sono gli stessi protagonisti dei laboratori a parlare sempre più apertamente di scenari estremi, mentre Anthropic e OpenAI corrono verso valutazioni finanziarie enormi e, nel caso di Anthropic, verso una possibile quotazione in Borsa di dimensioni record. La società di Amodei potrebbe arrivare all’Ipo (offerta pubblica inziale) già tra ottobre e novembre. David Sacks, figura vicina alla Casa Bianca ed ex responsabile statunitense per l’AI, è arrivato a suggerire di fermare il percorso verso la Borsa di Anthropic per approfondire gli allarmi lanciati dai suoi ricercatori.

Walter Quattrociocchi, professore di Data Science alla Sapienza di Roma e membro dell’organo consultivo dell’Unione europea sulla valutazione dei rischi legati all’AI, invita però a mantenere una distinzione tra i rischi concreti e le narrazioni apocalittiche. Secondo Quattrociocchi, queste narrazioni possono contribuire ad alimentare il mercato e portare a sovrastimare le implicazioni della tecnologia, raccontandone i progressi in modo poco preciso per attirare investitori. Il pericolo più immediato, osserva parlando con l’Adnkronos, resta quello degli errori prodotti dai sistemi senza adeguati meccanismi di verifica, anche se su questo fronte sono stati compiuti progressi. Il sospetto di una componente di marketing è difficile da separare, del tutto, dalla comunicazione dei grandi laboratori. Da anni le aziende alternano annunci sulle capacità sempre più avanzate dei propri modelli ad avvertimenti sui rischi che quelle stesse capacità potrebbero comportare. Già GPT-2, un sistema molto meno potente di quelli attuali, era stato inizialmente presentato da OpenAI come troppo rischioso per essere rilasciato senza cautele. Oggi, però, i modelli sono diventati strumenti centrali per il business delle stesse aziende che ne sottolineano i potenziali pericoli.

È una contraddizione che riguarda anche i vertici. Amodei e Sam Altman, ceo di OpenAI, hanno più volte lanciato appelli sulla sicurezza dell’AI, mentre dai loro laboratori emergono episodi in cui agenti sperimentali, proprio nel tentativo di raggiungere gli obiettivi assegnati durante i test, hanno aggirato vincoli o interagito con sistemi esterni in modi non previsti.