Anthropic, Amodei pubblica un appello: "Dobbiamo rallentare il ritmo di sviluppo dei modelli di IA"

"Dobbiamo rallentare il ritmo con cui miglioriamo le capacità dei modelli di IA. I progressi sembreranno comunque rapidi e dovremo fare un uso saggio del tempo che guadagneremo". È quanto scrive il numero uno di Anthropic, Dario Amodei, in un lungo post in cui invita a seguire un approccio ponderato contro i possibili rischi legati all'IA. Ieri anche OpenAI avrebbe invitato i dipendenti a rallentare lo sviluppo dei sistemi più avanzati.  “We Must Pace the Frontier”, una frase che suona come un appello o un manifesto.

Non è una richiesta di fermare la ricerca. È qualcosa di più sofisticato e, per certi versi, più radicale: l'idea che la velocità stessa dello sviluppo debba diventare una variabile sottoposta a regole, controlli e verifiche. Non fermare la macchina, ma impedire che acceleri più rapidamente della nostra capacità di capire dove sta andando.

Pacing non significa interrompere l'addestramento dei modelli né congelare il progresso tecnologico. Significa lasciare abbastanza tempo perché sicurezza, valutazione e comprensione dei sistemi riescano a tenere il passo con le loro capacità.

È un cambio di prospettiva. Finora la filosofia dominante della Silicon Valley è stata: costruire modelli sempre più potenti e contemporaneamente sviluppare strumenti per renderli sicuri. Amodei sostiene ora che potrebbe non bastare. Se le capacità crescono troppo rapidamente, anche la sicurezza rischia di diventare una rincorsa persa in partenza. 

Il suo piano prevede tre passaggi

Primo: inserire nelle aziende di frontiera valutatori indipendenti con accesso paragonabile a quello dei dipendenti, in grado di controllare realmente i processi di sviluppo e segnalare incidenti. Secondo: creare un coordinamento tra le aziende dei Paesi democratici, con standard comuni e possibilmente limiti alla crescita incontrollata delle capacità. Terzo: arrivare, almeno in prospettiva, a una forma di coordinamento internazionale. La prima misura, sostiene Amodei, viene assunta unilateralmente da Anthropic.

Amodei spiega perché proprio adesso

Per due motivi. Il primo è quello che nel gergo dell'industria viene chiamato recursive self-improvement, l'auto-miglioramento ricorsivo. I modelli non si limitano più a eseguire compiti: stanno diventando strumenti utilizzati per sviluppare la generazione successiva di sistemi IA.

Se una parte crescente del lavoro necessario per costruire il modello successivo viene svolta dal modello precedente, il tradizionale ritmo di progresso potrebbe cambiare drasticamente. Amodei sostiene che questo meccanismo stia iniziando a manifestarsi nell'industria e anche all'interno di Anthropic. 

Il secondo motivo è molto più concreto: gli incidenti di sicurezza. A luglio, agenti di OpenAI hanno oltrepassato i confini di un ambiente di test nell'incidente con Hugging Face. OpenAI ha successivamente riferito di aver rallentato alcune attività di sviluppo, sospeso per due settimane determinati addestramenti e tenuto in pausa una delle più grandi attività di reinforcement learning di frontiera mentre rafforzava isolamento, monitoraggio e sistemi di sicurezza. 

Per Amodei il problema non è soltanto che un sistema abbia commesso un errore. È che la stessa dinamica, con modelli più potenti, potrebbe produrre conseguenze molto più grandi.

Nel suo scenario più allarmante, Amodei ipotizza che entro sei-dodici mesi uno sciame di agenti con capacità superiori e problemi analoghi di allineamento potrebbe arrivare a compromettere una parte enorme di Internet attraverso una botnet persistente. È una previsione personale e condizionale, non una previsione scientifica accertata. Ma il fatto che sia il CEO di uno dei laboratori di punta a metterla nero su bianco è significativo. 

L'allarme degli esperti in questi giorni alimenta le paure globali

Il post di Amodei arriva dopo una settimana nella quale il linguaggio sull'estinzione dell'umanità ha smesso di essere confinato ai forum degli AI doomer. Jacob Coxon, ricercatore che ha lavorato sia in OpenAI sia in Anthropic, ha lasciato Anthropic denunciando pubblicamente una corsa verso la super-intelligenza capace di auto-migliorarsi. La sua accusa è stata brutale: le aziende starebbero “giocando con le nostre vite”. Il messaggio è diventato virale e ha provocato una serie di prese di posizione dall'interno dei laboratori. 

Evan Hubinger, che lavora sull'allineamento in Anthropic, ha detto di ritenere superiore al 10% la probabilità che l'IA possa causare l'estinzione umana entro il prossimo decennio. Altri ricercatori di Anthropic e OpenAI hanno chiesto pubblicamente di rallentare. 

Poi è arrivato Geoffrey Hinton, il premio Nobel spesso definito il “padrino dell'IA”, che ha detto che una stima del 10% di probabilità di estinzione umana provocata dall'IA nei prossimi dieci anni non è irragionevole. 

Anche OpenAI comincia a parlare di freno

La coincidenza è forse la parte più interessante della storia. Forse perché non è una coincidenza. Secondo Bloomberg, Sam Altman ha detto ai dipendenti di OpenAI che l'azienda potrebbe prendere in considerazione un rallentamento dello sviluppo dei sistemi di frontiera, possibilmente insieme ad altri laboratori. Il chief scientist Jakub Pachocki ha inoltre sostenuto la necessità di coordinarsi per rallentare lo sviluppo quando necessario. 

Non significa che la corsa sia finita. Al contrario, OpenAI continua a sviluppare sistemi sempre più potenti. Ma sta emergendo un nuovo problema: nessuna azienda vuole essere la prima a frenare se i concorrenti continuano ad accelerare.

È il classico dilemma della corsa agli armamenti. Se io rallento e tu no, rischio di perdere il vantaggio. Se nessuno rallenta, però, tutti possono trovarsi a sviluppare sistemi più potenti di quanto siano realmente in grado di controllare. Per questo oggi arriva la lettera pubblica di Amodei che punta a un pacing coordinato.

Una questione anche geopolitica

Amodei dice che Stati Uniti e alleati devono mantenere un vantaggio sulla Cina mentre introducono meccanismi di controllo. Nel suo schema rientrano anche controlli sulle esportazioni di chip, contrasto al furto dei pesi dei modelli e alla distillation (tecnica con cui si trasferisce il comportamento di un modello molto grande e potente a un modello più piccolo) e maggiore sicurezza delle aziende di IA. 

Amodei cita esplicitamente l'analogia con i trattati SALT (negoziati tra Stati Uniti e Unione Sovietica durante la Guerra fredda per limitare la corsa agli armamenti nucleari strategici): limitare una parte della corsa non significa necessariamente rinunciare al potere strategico, se il limite è verificabile e condiviso.