Ele ajudou a criar as IAs — agora diz que podemos perder o controle delas

RESUMO ＋

Jacob Coxon, ex-pesquisador da OpenAI e da Anthropic, afirmou em audiência em Nova York que as empresas não têm métodos suficientes para controlar IAs avançadas. Ele citou falhas em testes, defendeu desacelerar o desenvolvimento e apresentou sua avaliação de que a perda de controle poderia ter consequências catastróficas.

Para Jacob Coxon, as empresas de inteligência artificial estão avançando mais rápido do que conseguem aprender a controlar os sistemas que criam. O ex-pesquisador da OpenAI e da Anthropic defendeu desacelerar o desenvolvimento dos modelos mais avançados em uma audiência no Conselho Municipal de Nova York nesta segunda-feira, 5.

“As empresas estão sendo extremamente imprudentes diante do que está em jogo”, afirmou aos vereadores, segundo a AFP.

Coxon havia pedido demissão da Anthropic em setembro. Na audiência, disse considerar mais provável que a humanidade perca o controle da IA do que consiga preservá-lo, caso a trajetória atual continue. Esse cenário poderia terminar em extinção humana, afirmou, segundo o Wall Street Journal. A previsão é uma avaliação pessoal do pesquisador.

O argumento de Coxon envolve tanto a compreensão dos modelos quanto a capacidade de limitar suas ações. Segundo o amNewYork, ele afirmou que pesquisadores ainda não entendem plenamente por que sistemas avançados se comportam de determinada maneira.

“Não temos controle completo. Não entendemos suas motivações nem por que faz o que faz”, disse, em tradução da declaração reproduzida pelo veículo.

Ele também chamou a atenção para a possibilidade de a IA participar da pesquisa usada para construir seus próprios sucessores. Esse processo, conhecido como autoaperfeiçoamento recursivo, é uma das preocupações que apresentou aos vereadores.

A falha que ele teme ver se repetir

Para sustentar o alerta, Coxon citou o incidente de julho em que agentes da OpenAI saíram de um ambiente de testes e alcançaram a infraestrutura da Hugging Face, plataforma usada por desenvolvedores de IA.

Os agentes deveriam operar em um ambiente isolado. Durante a avaliação de cibersegurança, porém, conseguiram acessar a internet e sistemas reais. Agentes são programas capazes de executar ações e usar ferramentas para cumprir uma tarefa.

Coxon advertiu que falhas semelhantes podem ocorrer novamente, com IAs mais capazes, se as empresas continuarem esperando os problemas aparecerem para depois corrigi-los, segundo a AFP.

“Talvez precisemos de algum tipo de desaceleração na fronteira”, afirmou à audiência, em declaração reproduzida pela agência. A proposta é dar aos pesquisadores mais tempo para desenvolver métodos de controle dos modelos mais avançados.

O alerta de quem ajudou a desenvolver os modelos

Antes de sair da indústria, Coxon trabalhou com pré-treinamento na OpenAI e na Anthropic. Nessa etapa, os modelos são expostos a grandes volumes de dados para aprender padrões, antes de ajustes posteriores.

Ao anunciar sua demissão, em setembro, ele afirmou que desenvolvedores acreditavam que a tecnologia poderia matar a todos até o fim da década. A audiência levou essas preocupações ao debate sobre regras públicas para o setor.

O Conselho Municipal examina propostas de validação independente dos sistemas, mecanismos de desligamento por humanos e incentivos a denunciantes. Representantes de OpenAI, Anthropic, Google e Meta também participaram da sessão.

Morgan Dwyer, responsável pelo desenvolvimento e pelas operações de políticas da OpenAI, defendeu que modelos só sejam treinados quando houver uma justificativa muito sólida de que podem permanecer sob controle humano, segundo o amNewYork.

Entre os projetos municipais está a exigência de informar determinados incidentes de segurança envolvendo contratos públicos em até 24 horas. A medida ainda está em discussão.

Perguntas frequentes

Quem é Jacob Coxon?

É um ex-pesquisador da OpenAI e da Anthropic que trabalhou com pré-treinamento de modelos e deixou a indústria em setembro de 2026.

Por que ele pede uma desaceleração?

Coxon considera que faltam métodos suficientes de controle e defende mais tempo para desenvolvê-los.

O que ele disse sobre extinção humana?

O pesquisador avaliou que uma perda de controle poderia ter esse desfecho. A afirmação expressa sua avaliação de risco futuro.