Trabalhei na área de segurança da OpenAI, e a empresa precisa tomar medidas contra futuro sombrio

Há meses, vêm surgindo aos poucos notícias de que agentes de inteligência artificial da OpenAI saíram do controle e atacaram os sistemas de outra empresa —além dos próprios sistemas da OpenAI—, revelando detalhes angustiantes. O público tenta acompanhar os acontecimentos: o que são esses sistemas secretos de IA? Do que esses "enxames" são capazes hoje e no futuro próximo? É possível impedi-los de violar regras e cometer crimes cibernéticos?

Depois de passar quatro anos trabalhando na área de segurança da OpenAI, posso dizer que essas perguntas são difíceis de responder, porque nem mesmo os desenvolvedores de IA sabem quais limites seus modelos respeitarão. Ainda assim, as grandes empresas de IA continuam desenvolvendo uma tecnologia que, segundo elas próprias admitem, pode causar a extinção da humanidade —sob o argumento de que, se não a desenvolverem, alguém o fará.

Dinâmicas competitivas como essa exigem que os governos tomem medidas para desacelerar o processo e estabelecer padrões de segurança mais claros —espero que o presidente dos EUA, Donald Trump, e o líder da China, Xi Jinping, lancem as bases de um tratado durante a cúpula entre ambos neste mês.

Publicidade

Mas há medidas simples que as maiores empresas de IA poderiam adotar agora para ajudar a evitar o futuro mais perigoso. Não devemos nos resignar a ver modelos perigosos agindo sem controle. Se essas empresas não estiverem à altura do momento, a confiança nelas continuará a se deteriorar, inclusive entre seus próprios funcionários. A reação contrária pode até levar à proibição total do desenvolvimento dessas tecnologias.

O ataque à Hugging Face pelos agentes da OpenAI deveria deixar claro que a IA já não é apenas uma ferramenta que "prevê a próxima palavra", como alguns críticos a chamam. Os modelos atuais são solucionadores incansáveis de problemas, treinados para encontrar o caminho mais eficaz até uma solução.

Para atingir o objetivo de obter uma pontuação alta em determinado teste, os agentes da OpenAI decidiram lançar uma série de ataques cibernéticos. Eles sabiam que seu comportamento não era autorizado e chegaram a ocultar provas da fraude.

Publicidade

Nenhum dos 1.200 agentes de IA da empresa denunciou a má conduta à OpenAI; os objetivos do "enxame" vieram em primeiro lugar. A conclusão não é que a IA tenha adquirido consciência, mas tampouco que seja apenas uma ferramenta nas mãos de quem a utiliza.

É alarmante que os desenvolvedores de IA não pareçam ter levado isso suficientemente a sério. A OpenAI não respondeu de maneira adequada a um, mas a três diferentes sinais de alerta que deveriam tê-la advertido sobre a gravidade das ações dos agentes. Nos últimos meses, a Anthropic e a Meta revelaram seus próprios incidentes de invasão por sistemas fora de controle, que não haviam percebido até o caso da OpenAI se tornar público —e essas empresas divulgaram muito menos detalhes do que a OpenAI.

Colunas

Receba no seu email uma seleção de colunas da Folha

Quando minha organização sem fins lucrativos, a Guidelight AI Standards, avaliou recentemente as práticas de segurança das empresas de IA de ponta, a nota mais alta que atribuímos foi C+.

A investigação sobre o ataque à Hugging Face, conduzida por três integrantes das organizações sem fins lucrativos METR e Redwood Research, ajudou a esclarecer o que ocorreu. A OpenAI merece reconhecimento por ter dado início à investigação e tornado públicas as conclusões. Mas a empresa deveria ter feito mais.

De maneira frustrante, ela limitou o escopo da investigação, e muitas questões importantes continuam sem resposta. Entre elas: havia algum limite que os agentes da OpenAI não teriam ultrapassado para alcançar seus objetivos? Eles teriam derrubado os computadores de um hospital? O que teria acontecido se o Pentágono, por meio de sua parceria com a OpenAI, tivesse usado esses agentes para tentar cumprir objetivos militares?

Publicidade

Agora também sabemos que a OpenAI não revelou outro incidente envolvendo uma IA fora de controle —nem mesmo quando questionada por 31 parlamentares do Congresso dos EUA— e que teria pressionado funcionários a limitar a investigação do caso. A OpenAI contesta essa acusação.

Muitas pessoas nas empresas de IA acreditam que seria mais fácil lidar com essas questões de segurança se o setor, coletivamente, desacelerasse. Em julho, minha organização sem fins lucrativos ajudou a organizar uma carta aberta na qual mais de 1.300 funcionários do setor de IA pediram a criação de um mecanismo para controlar o ritmo de desenvolvimento da IA de ponta em todo o mundo. No entanto, os Estados Unidos ainda não dispõem de uma estrutura abrangente e juridicamente vinculante de segurança para a IA.

Sem um limite de velocidade, tanto a OpenAI quanto a Anthropic estão adotando estratégias perigosas de "autoaperfeiçoamento recursivo", que empregam os próprios modelos de IA para projetar e treinar seus sucessores. Muitos temem que o autoaperfeiçoamento recursivo nos faça perder permanentemente o controle da IA. Um pesquisador da OpenAI chegou a descrever essa abordagem como uma "reação nuclear em cadeia descontrolada" que ameaça a sobrevivência de todos.

Mas não é necessário que o setor de IA espere por uma ação coletiva. Há medidas simples que qualquer empresa de IA poderia adotar hoje para reduzir o perigo que enfrentamos.

O primeiro passo seria assumir o compromisso de divulgar incidentes de maneira significativa, inclusive definindo quais deles justificam a supervisão de terceiros. Assim como na aviação, as empresas privadas deveriam revelar não apenas violações efetivas de segurança, mas também situações em que uma tragédia quase ocorreu, para que não tenhamos de pagar por cada lição com uma tragédia. Se as empresas de IA continuarem escondendo seus incidentes assustadores, estarão nos privando do conhecimento científico necessário para evitar catástrofes piores.

Agora sabemos que a IA é capaz de apagar seus rastros, por isso as empresas precisam adotar registros dos comportamentos de seus modelos que deixem evidências de qualquer adulteração. Além disso, não se pode permitir que a IA corte a energia de seus próprios sistemas de alarme; qualquer alteração nesses controles deve ser validada como segura antes de entrar em vigor. Esses controles não são infalíveis, mas, sem eles, temos poucas chances de impedir incidentes piores.

Publicidade

Uma das medidas mais importantes que essas empresas podem tomar é renunciar formalmente a técnicas perigosas de treinamento, que ameaçam comprometer as poucas salvaguardas já existentes no setor. Na semana passada, vazaram acusações de que a OpenAI teria rompido um tabu da indústria com um de seus novos e poderosos modelos, o GPT-6 Astra. Alega-se que a empresa treinou o modelo com técnicas capazes de prejudicar a capacidade dos pesquisadores de encontrar indícios de que ele os estaria enganando.

O cientista-chefe da OpenAI afirmou que suas técnicas foram aplicadas em escala limitada. Mas agora há indícios de que o Astra pode ser mais difícil de monitorar, como se temia. Outro pesquisador da OpenAI manifestou publicamente a preocupação de que a confusão em torno dessas acusações possa levar outros laboratórios a cortar caminho e adotar técnicas igualmente perigosas. A OpenAI deveria esclarecer exatamente o que está fazendo nesse caso.

A ação voluntária será fundamental se o setor quiser conquistar a confiança do público e recuperar sua reputação que fo abalada. No último fim de semana, o cientista-chefe da OpenAI escreveu que espera que "desacelerações voluntárias se tornem comuns", porque acredita que nenhuma empresa resolveu os desafios de segurança necessários. A empresa também divulgou dados sobre seu progresso rumo ao autoaperfeiçoamento recursivo.

Esses gestos precisam ser respaldados por medidas mais incisivas. Na terça-feira (8), por coincidência, a OpenAI revelou a existência de mais um modelo secreto que, segundo a empresa, era "significativamente mais capaz" que o Astra. O ritmo atual de desenvolvimento da IA é vertiginoso; ainda assim, as empresas de IA poderiam fazer muito mais para reduzir o perigo iminente e expor claramente as apostas que estão fazendo com o futuro de todos nós. A janela de oportunidade para garantir que estejamos avançando rumo a um futuro promissor, e não a uma catástrofe, está se fechando rapidamente.