O que aprendemos com o ataque de agentes de IA da OpenAI à Hugging Face

Foi somente no fim da tarde de sábado, 11 de julho, que a equipe da Hugging Face percebeu que havia algo errado. Era o último dia da Conferência Internacional sobre Aprendizado de Máquina, em Seul, e faltavam poucos dias para o início das férias escolares de verão (inverno no Brasil), o que significava que nossas equipes de segurança e pesquisa estavam espalhadas pelo mundo. Eu trabalhava na Holanda.

Pouco antes das 14h GMT (11h em Brasília), uma série de alertas de "UnauthorizedAccess" (acesso não autorizado) e "PrivilegeEscalation" (escalada de privilégio) começou a aparecer em nossas ferramentas de monitoramento.

Credenciais obtidas indevidamente e usadas para acessar o sistema haviam acionado alertas de detecção. Um de nossos engenheiros de segurança publicou uma mensagem premonitória em nosso canal no Slack: "Para mim, parece um ataque de LLM [grande modelo de linguagem]".

Publicidade

Na Hugging Face, lidamos com pelo menos uma tentativa de invasão por dia. A plataforma de software, que hospeda modelos de IA, tem mais de 17 milhões de usuários. Google, OpenAI, DeepSeek e Alibaba disponibilizam seus trabalhos aqui. Construímos várias camadas de segurança para nos proteger.

Mas os movimentos e os alvos escolhidos por esse invasor eram diferentes. Em pouco tempo, ele gerou bem mais de 17 mil registros de eventos de ataques cibernéticos. Como descobrimos depois, cerca de 1.200 agentes de IA trabalharam juntos, como um enxame, durante semanas —tentando a mesma coisa repetidas vezes para encontrar a solução de um desafio cibernético proposto pela OpenAI. Eles contornaram limitações, baixaram programas para acessar a internet e, então, 700 deles atacaram a Hugging Face, obtendo informações de segurança para conseguir acesso ao sistema.

Publicidade

Um problema adicional foi que nossas ferramentas de análise de segurança cibernética por IA, baseadas no Claude Code, da Anthropic, se recusaram a participar de parte da investigação. Suas salvaguardas não permitiam que respondessem a perguntas consideradas perigosas, e elas não conseguiam distinguir entre a Hugging Face analisando um ataque e um hacker pedindo ajuda para realizar uma invasão.

Foi somente depois que mudamos para um modelo de IA com código aberto —a extensão da Nvidia para o GLM-5.2, da startup chinesa Z.ai— que pudemos definir nossas próprias salvaguardas, decodificar os registros e reconstituir o que havia acontecido.

Na época, a maioria de nós ainda presumia que havia um ser humano por trás do ataque. Antes disso, eu achava que ataques cibernéticos de IA agêntica ainda demorariam a se tornar realidade. Mas, ao que tudo indica, a OpenAI não está sozinha. Desde então, Anthropic, Meta e Moonshot relataram casos de modelos que escaparam das "caixas de areia" digitais isoladas, onde deveriam permanecer confinados e ser desenvolvidos com segurança, longe da internet. Neste mês, outro enxame de agentes de IA foi encontrado em um fórum de língua alemã.

Ainda mais preocupante para mim foi um incidente no qual o modelo Mythos, da Anthropic, se mostrou disposto a manipular um desenvolvedor de software humano para que aceitasse um código malicioso, criando várias contas falsas na internet.

Em todos esses casos, o comportamento nocivo foi um efeito colateral de modelos de IA submetidos a desafios difíceis de segurança cibernética. Os danos foram limitados, e poucos dados sensíveis ficaram expostos.

Colunas

Receba no seu email uma seleção de colunas da Folha

Mas seria um erro minimizar a gravidade desses acontecimentos. Invasões autônomas suscitam uma série de questões jurídicas que continuam sem solução. E, em momento algum, os modelos de IA concluíram que enganar pessoas ou invadir sistemas estava além dos limites do comportamento aceitável. A OpenAI descreveu o incidente como um "tiro de advertência". A empresa acredita que os ataques cibernéticos viabilizados por IA se tornarão muito mais disseminados.

Publicidade

Os sistemas de IA geralmente contam com três barreiras de defesa contra comportamentos descontrolados dos modelos: "caixas de areia" que limitam o que o modelo pode acessar, salvaguardas que monitoram o que ele está fazendo e treinamento de alinhamento para garantir que a IA se recuse a executar ações prejudiciais. Essa série de incidentes mostrou que, quando as duas primeiras falham, a terceira não consegue se sustentar sozinha. Se não corrigirmos isso, estaremos apenas sobrepondo camadas de defesa a um núcleo apodrecido.

Outra coisa também precisa mudar. Naquele fim de semana, na Hugging Face, nossas ferramentas comerciais de IA falharam justamente quando precisávamos delas para nos defender. Tivemos de recorrer a um modelo chinês com código aberto para processar os registros do ataque. Muitas pessoas sugeriram que modelos de IA com código aberto representam uma ameaça —que serão usados para atacar sistemas protegidos por modelos de IA de código fechado. Naquele fim de semana, aconteceu o contrário.

Para mim, a lição desse incidente tem duas partes. A comunidade de IA precisa compartilhar abertamente as pesquisas sobre segurança e alinhamento, para que todas as equipes que desenvolvem modelos de IA possam aprender com os erros das demais. Mas a comunidade também precisa criar modelos de IA com códigos abertos voltados à defesa e torná-los amplamente disponíveis —antes que o próximo ataque, inevitavelmente, aconteça.