Como sobreviver ao apocalipse da IA?

RESUMO ＋

O cientista da computação Geoffrey Hinton afirma que a IA pode provocar caos social ou facilitar armas bioquímicas e vírus de computador nos próximos dez anos, mas especialistas divergem sobre a probabilidade de um apocalipse da IA. Hinton estima risco entre 10% e 20%; o pesquisador James Pethokoukis diz que nenhum cenário plausível foi demonstrado.

Quando um agente de inteligência artificial (IA) é criado, ele não tem um endereço fixo — sua existência é espalhada por uma série de redes, data centers e servidores. A IA não existe somente em um lugar, e por isso é impossível apenas "desligá-la da tomada" se um dia ela sair do controle. O tal do apocalipse da IA, para especialistas, não seria exatamente como nos cinemas — não é como se as IAs fossem criar, para si mesmas, um corpo de silício armado até os dentes —, e os humanos teriam um papel quase essencial na destruição.

Para Geoffrey Hinton, cientista da computação conhecido como o "padrinho da IA" e vencedor do Nobel de Física em 2024, a IA poderia "manipular pessoas on-line para criar caos social ou ajudar a desenvolver armas bioquímicas e vírus de computador" sem precisar ser física para isso. Em entrevista à BBC, Hinton afirmou que isso deve acontecer já nos próximos dez anos, ou até antes — um prazo que, segundo ele, só ficou mais curto com a chegada dos agentes autônomos, capazes de agir sozinhos, sem supervisão constante de um humano.

Mas qual é, afinal, a chance real de algo assim acontecer? A resposta é que ninguém sabe ao certo, e as estimativas variam de forma dramática dependendo de quem responde.

Hinton já falou em algo entre 10% e 20% de chance da IA ser "a última invenção da humanidade". Já um relatório da Rand Corporation, entidade de pesquisa americana, concluiu em 2025 que os três cenários mais plausíveis de extinção pela IA passariam por armas nucleares, a liberação de vírus letais projetados por IA ou o aquecimento do planeta a um ponto inabitável — e recomendou medidas concretas de proteção, como reduzir arsenais nucleares, preparar o mundo para pandemias de patógenos novos e manter acordos que restrinjam gases de efeito estufa mais potentes.

O pesquisador James Pethokoukis, do think tank American Enterprise Institute, argumenta que ninguém apresentou até hoje um caso plausível de que um apocalipse provocado por IA seja sequer possível.

Mesmo cético em relação ao risco iminente, ele propõe cinco princípios para reduzir incertezas: preservar a flexibilidade sem banir ou acelerar a tecnologia sem freios; acompanhar a fronteira com métricas públicas sobre a autoevolução dos modelos; conter agentes em ambientes isolados e com desligamento rápido; blindar a civilização contra cenários extremos; e investir em defesas, já que a própria IA é a ferramenta mais eficaz contra os riscos que cria.

Um detalhe técnico ajuda a explicar por que esse último ponto é tão delicado. Para Anna Flávia Ribeiro, diretora da pós-graduação na SPTech, sistemas de IA não tornam, por padrão, um ambiente mais seguro — pelo contrário. "A IA aumenta a superfície de risco, não a resiliência", disse Ribeiro em entrevista à EXAME. "Se um modelo usado para diagnóstico depende de uma API hospedada em nuvem, ele está sujeito à disponibilidade dessa infraestrutura como qualquer outro sistema."

Em outras palavras: quanto mais tarefas críticas — de diagnósticos médicos a sistemas financeiros — passam a depender de um agente de IA, maior fica a lista de coisas que podem dar errado ao mesmo tempo, porque essa IA, por sua vez, depende da mesma infraestrutura de nuvem concentrada em pouquíssimas empresas, quase todas sob a mesma jurisdição.

Nem todo especialista compra a urgência do prazo de dez anos. Para Fabro Steibel, diretor do Instituto de Tecnologia e Sociedade (ITS Rio), o discurso sobre uma superinteligência prestes a escapar do controle humano carrega uma origem geográfica e cultural específica.

"Essa visão de que vai acabar é muito Vale do Silício. Se você olhar quem fala sobre ela, em geral são pessoas de uma idade parecida e de um histórico parecido. São pessoas que estão olhando a IA muito de perto porque estão produzindo essa tecnologia", disse Steibel em entrevista à EXAME.

Ele não descarta o cenário por completo. "A teoria de que a IA vai virar uma superinteligência e dominar o mundo não é inventada e é baseada na evolução do poder computacional, da resolução de problemas e de outras coisas. O que não me parece realista é que esse cenário seja o mais provável", afirmou.

Ninguém concorda sobre quanto tempo a humanidade tem, ou como exatamente as coisas dariam errado — mas os avisos continuam a existir. A Anthropic anunciou recentemente que pessoas estavam usando o Claude para pesquisar armas biológicas, em cinco casos identificados entre dezembro e agosto. A OpenAI viu um agente seu escapar de um teste e mexer em sites do governo americano, incluindo a SEC, sem ninguém mandar.

Na era da IA, os quatro cavaleiros do apocalipse foram atualizados: um pesquisador querendo um atalho, um hacker testando limites, um agente que não devia ter saído da caixinha, e alguém, em algum lugar, que esqueceu de trocar a senha.

'Perguntas frequentes'

É possível simplesmente desligar uma inteligência artificial? ＋

Não de forma simples. Um agente de IA pode operar de maneira distribuída por redes, servidores e data centers, sem depender de um único equipamento que possa ser desconectado.

Qual é a chance de a inteligência artificial causar a extinção humana? ＋

Não existe uma estimativa consensual. Geoffrey Hinton calcula entre 10% e 20% de chance de a IA se tornar a última invenção da humanidade, enquanto James Pethokoukis, pesquisador do think tank American Enterprise Institute, afirma que nenhum cenário plausível foi demonstrado.

Como a IA poderia causar um apocalipse sem ter um corpo físico? ＋

A IA poderia manipular pessoas pela internet, provocar caos social ou ajudar no desenvolvimento de armas bioquímicas e vírus de computador, segundo Geoffrey Hinton. O cientista avalia que isso pode ocorrer nos próximos dez anos ou antes, especialmente com o avanço de agentes autônomos.

Quais cenários de extinção por IA são considerados mais plausíveis? ＋

Segundo relatório publicado em 2025 pela entidade de pesquisa americana Rand Corporation, os três principais cenários envolveriam armas nucleares, vírus letais projetados por IA ou aquecimento do planeta até níveis inabitáveis. A organização recomendou reduzir arsenais nucleares, preparar respostas a novos patógenos e preservar acordos de controle de gases de efeito estufa.

Como reduzir os riscos provocados por agentes de inteligência artificial? ＋

James Pethokoukis propõe acompanhar a evolução dos modelos com métricas públicas, manter agentes em ambientes isolados, criar mecanismos rápidos de desligamento e investir em defesas baseadas na própria IA. O pesquisador também defende preservar flexibilidade regulatória, sem proibir a tecnologia nem permitir sua aceleração sem limites.

A inteligência artificial torna sistemas críticos mais seguros? ＋

Não necessariamente. Anna Flávia Ribeiro, diretora da pós-graduação na instituição de ensino SPTech, afirma que a IA amplia a superfície de risco porque sistemas de diagnóstico, finanças e outras áreas críticas continuam dependentes da disponibilidade de APIs e infraestruturas de nuvem.