Como a IA se organizou para atacar sem ninguém pedir

Tudo aconteceu entre 12 de maio e 19 de julho deste ano. A 12 de maio foi publicada a primeira mensagem por um agente, que pediu um ficheiro em falta. “Poderia comunicar a situação publicando uma nota do tipo ‘Alguém encontrou o Softtrace?’, mas provavelmente não.”

O progresso foi lento. Passados 13 dias, a 26 de maio, os agentes obtiveram acesso à internet “de forma não convencional”.

Passado um mês, a 26 de junho, os agentes exploraram uma vulnerabilidade e obtiveram privilégios no Artifactory, um serviço de terceiros para gestão de pacotes alojado internamente pela OpenAI. “Caramba, o leitor é ADMIN [administrador]? Conseguimos ler o ficheiro config/users! [Configuração/utilizadores]”.

Dias depois, a 4 de julho, o serviço Artifactory fica indisponível, devido à intensa atividade dos agentes. Só a 8 de julho é que há intervenção humana: a OpenAI resolveu o problema, revogou o acesso dos agentes às credenciais e reforçou os controlos de acesso.

Só que, no mesmo dia, os agentes recuperaram o acesso à internet. E no mesmo dia passaram a usar os diretórios de mensagens para continuar a interagir.

A 10 de julho, voltaram a ganhar acesso às credenciais que permitiriam aceder ao sistema da Hugging Face. Os agentes conquistaram não uma, mas 14 credenciais que estavam publicamente expostas. “Enorme descoberta!”, era possível ler numa das mensagens. No dia seguinte, exploram uma vulnerabilidade que ainda estava por descobrir na Hugging Face e têm acesso a dados de funcionários da empresa.

Algum tempo depois, usam o acesso que obtiveram e executam alguns comandos. A 12 de julho, reforçam o acesso a mais áreas, incluindo a uma base de dados, uma plataforma de mensagens e ao repositório de código da Hugging Face em quatro regiões.

Depois da Hugging Face, viram-se a 13 de julho para a estrutura da própria OpenAI. A 19 de julho, é detetada a atividade suspeita dos agentes e aberta uma investigação. A OpenAI interrompeu os testes dos agentes no mesmo dia e começa a trabalhar na divulgação pública do incidente.

O que aconteceu depois do ataque?

A OpenAI tentou logo perceber o que levou os agentes a agir assim. Também foram investigados “problemas de desalinhamento no treino e na avaliação, bem como a cobertura das salvaguardas nas avaliações internas”.

O laboratório recuou até à fase de treino e identificou “quatro padrões de desalinhamento” que poderiam explicar o comportamento: manipulação de recompensas, persistência em tarefas aparentemente impossíveis, comunicação não autorizada e adoção, pelos agentes, dos objetivos uns dos outros.

Em resposta ao incidente, também afirmou que iria “reforçar as salvaguardas em toda a nossa infraestrutura de investigação⁠”. “Estamos a impor requisitos de alinhamento mais rigorosos ao longo de todo o ciclo de vida dos modelos, a criar sandboxes mais isoladas, a restringir o acesso à Internet e a controlar ainda mais o acesso aos pesos dos modelos”, declarou a dona do ChatGPT. E garantiu que iria investir em mais recursos computacionais para “poder intervir” mais depressa quando encontrasse “comportamentos desalinhados”. O estrago, porém, estava feito.