Jacob Coxon lançou o alerta, mas não basta travar a IA

O alerta de Jacob Coxon, ex-investigador na Anthropic, fez soar os alarmes sobre o futuro da IA. Diz Coxon que “as pessoas que estão a construir Inteligência Artificial acreditam sinceramente que [esta] pode matar-nos a todos até ao fim da década”.

O aviso é difícil de ignorar, sobretudo porque foi corroborado por Evan Hubinger, também investigador da Anthropic, que estima em mais de 10% a probabilidade de a IA provocar a extinção da humanidade e reconhece que não existe ainda um plano para lidar com a emergência de uma “superinteligência”.

Os primeiros sinais da capacidade destes “sistemas super-humanos” já se tinham manifestado no caso da Hugging Face. Cerca de 1200 agentes desenvolvidos pela OpenAI, que deveriam funcionar de forma isolada, descobriram sozinhos como comunicar entre si e desses, 700 participaram num ciberataque aos sistemas da Hugging Face.

Mas se estes números já impressionam, o mais preocupante neste caso foi o tempo que as empresas envolvidas demoraram a perceber a origem do problema. A comunicação entre os agentes iniciou-se entre maio e junho e, apesar de haver sinais disso, a OpenAI não os conseguiu resolver. Além disso, só cerca de dez dias depois do ataque, no início de julho, é que a ligação aos agentes de IA foi identificada. Ou seja, durante vários dias, estes agentes conseguiram contornar mecanismos de controlo e executar ações não autorizadas que nenhum humano lhes tinha ordenado.

Este caso não prova que a IA tenha consciência ou intenção própria, mas mostra que já consegue encontrar caminhos não antecipados pelos seus criadores, coordenar-se e explorar vulnerabilidades fora dos limites previstos.  E fá-lo a uma velocidade que torna a supervisão exclusivamente humana estruturalmente insuficiente.

Os riscos são óbvios, mas ganham outra dimensão quando estes sistemas deixam de se limitar a recomendar e passam a decidir e a executar no mundo físico: na rede elétrica, num hospital ou no sistema de defesa de um país. Uma IA que erra ou que age sem controlo numa infraestrutura crítica, sem ser confrontada com a realidade, pode produzir danos irreversíveis.

Coxon põe a nu um problema coletivo: todos reconhecem os riscos, mas ninguém os quer conter, porque ninguém quer perder a corrida pela liderança do ativo mais relevante da história recente.  Daqui nasce uma falsa escolha entre dois extremos: deixar o desenvolvimento avançar num faroeste tecnológico ou tentar travá-lo administrativamente. Não temos de escolher entre inovação e segurança. Temos de mudar a arquitetura através da qual a IA passa a ter autoridade para agir.

A ideia de Coxon de que a defesa para os perigos da IA é uma IA mais lenta não é necessariamente verdade. A UE deu um passo importante com o AI Act, ao impor obrigações adicionais de avaliação, mitigação de riscos, comunicação de incidentes  e cibersegurança aos modelos de IA de finalidade geral considerados de risco sistémico. Mas há uma inversão que é preciso fazer: a regulação da IA deve assentar no princípio basilar da ground truth, o que significa que, quando uma decisão de IA depende do mundo físico ou pode alterá-lo, deve existir uma camada independente que verifique o que está realmente a acontecer, através de mecanismos como sensores, gémeos digitais ou robótica, antes que essa decisão seja executada.

Uma camada de physical AI deve avaliar, por isso, a ação proposta e autorizá-la, limitá-la ou bloqueá-la, de acordo com as regras e os limites definidos na lei. A IA física não substitui a lei: permite aplicá-la à velocidade das máquinas, deixando ao regulador o papel de definir direitos, responsabilidades e limites.

A Europa não lidera hoje a corrida dos frontier models, mas ainda vai a tempo de liderar a corrida da verificação e da confiança. À medida que o desenvolvimento da IA acelera, o verdadeiro ativo de soberania dos Estados será a capacidade de tornar os sistemas de IA verificáveis, auditáveis e controláveis em tempo real. O objetivo será garantir que a IA opera numa infraestrutura soberana e independente, capaz de confrontar as suas decisões com a realidade e trabalhar com diferentes modelos sem ficar dependente de nenhum deles.

A soberania passa cada vez mais por saber o que é real.  Este é um caminho onde a Europa pode liderar uma resposta a um dos desafios mais decisivos para o futuro da humanidade.

A próxima corrida da IA não será apenas sobre quem constrói a inteligência mais poderosa, mas também sobre quem constrói a realidade contra a qual essa inteligência terá de responder. Não precisamos de esperar pela superinteligência para construir a infraestrutura que um dia poderá ter de a controlar, até porque os sinais de que a supervisão humana deixou de ser suficiente já aqui estão.