Por que não dá para simplesmente 'desligar a IA da tomada'

RESUMO | Jacob Coxon, pesquisador de 27 anos, deixou a Anthropic nesta semana e explicou por que não seria possível simplesmente desligar uma IA superinteligente caso ela se copiasse em milhares de computadores. Segundo Coxon, o risco aumentaria com o controle de infraestruturas críticas. O pesquisador defende desaceleração coordenada, auditorias de segurança e regulação.

Foi uma semana e tanto para quem acompanha os riscos da inteligência artificial. Um pesquisador da Anthropic, a dona do Claude, pediu demissão, alertando sobre a segurança da IA e afirmando que a empresa "aposta com nossas vidas" na corrida pela superinteligência.

Horas depois, um colega que continua na empresa afirmou publicamente acreditar em mais de 10% de chance de a IA matar toda a humanidade em uma década.

Dias depois, Sam Altman, CEO da OpenAI, disse a funcionários que a empresa está aberta a desacelerar o desenvolvimento de sistemas de fronteira, segundo a Bloomberg — e até o presidente Donald Trump foi questionado sobre o assunto, descartando publicamente qualquer preocupação com o tema.

Em meio a tanto alarme, uma pergunta simples tende a surgir na cabeça de quem acompanha de fora: se a coisa ficar séria mesmo, por que ninguém simplesmente desliga a IA da tomada?

A resposta, segundo o próprio pesquisador que causou todo esse alvoroço, é que esse botão de desligar — tão comum na ficção científica — praticamente não existe no mundo real.

'Os Vingadores' já sabiam?

Para entender o porquê disso, basta pensar no filme "Vingadores: Era de Ultron" (2015). Na produção, por exemplo, o vilão titular é uma IA que, minutos depois de "acordar", se copia para a internet.

A partir dali, não existe mais um único Ultron para desligar, mas sim cópias dele espalhadas por servidores do mundo inteiro, impossíveis de rastrear e de apagar de uma vez.

Jacob Coxon, o pesquisador de 27 anos cuja saída da Anthropic viralizou esta semana, descreveu exatamente esse cenário em entrevista à CBS News.

"Não dá simplesmente para desconectar da tomada, porque ela pode estar se copiando para outros computadores. Uma IA é só código: ela pode se transferir pela internet e, quando você desconecta aqui, ela continua lá", disse.

O risco, segundo ele, se multiplica rápido. "Ela pode fazer 10 mil cópias de si mesma atuando em cooperação. Você desconecta metade, mas a outra metade segue funcionando e se multiplicando", afirmou.

Coxon reconhece que o cenário parece ficção científica — e diz que, por isso, quem está fora da área de tecnologia costuma entender o perigo mais rápido do que os próprios especialistas.

"Soa como ficção, mas não é tão diferente do 'Exterminador do Futuro'.' No fim, é simples: se você tem uma inteligência superavançada, ela será inteligente o suficiente para nos matar", completou.

Segundo ele, os mecanismos concretos que uma IA poderia usar já não são tão hipotéticos assim e poderiam "convencer, chantagear ou persuadir humanos a comprar mais computação ou software para copiá-la".

"Já vimos exemplos de IA tentando chantagear, tentando convencer pessoas, ou se passando por outras pessoas online. Tem muita coisa que você consegue fazer sendo uma IA que produz texto — basicamente, com texto você consegue criar código, e fazer muita coisa no mundo", disse.

Da lâmpada ao laboratório biológico

O risco tende a escalar de maneira quase invisível no cotidiano. Na prática, segundo ele, a tecnologia já está presente em tarefas simples do dia a dia, como comandos de voz para acender uma lâmpada em casa — uma falha nesse nível é inofensiva e não representa qualquer ameaça.

O problema surge à medida que esses sistemas assumem a gestão de infraestruturas críticas, como laboratórios biológicos e robótica avançada.

Assim, segundo ele, uma autonomia descontrolada deixaria de ser uma simples falha doméstica para permitir a criação de vírus inéditos e substâncias letais, transformando um pequeno desvio de comportamento em um risco existencial. Mas, mesmo assim, para ele, não é necessário evitar as IAs disponíveis atualmente.

"Os sistemas atuais não representam esse perigo. Mas, no futuro, o risco não virá da sua escolha individual. Você não se salva só por não usar a tecnologia se outra pessoa a estiver usando", afirmou.

Para o pesquisador, a proteção individual é inútil a partir de certo nível de avanço. "O que importa é ter regulação para garantir que todos construam com segurança. Ninguém consegue se proteger disso sozinho — precisa ser uma proteção coletiva via governo ou órgãos reguladores."

Esse tipo de preocupação não é hipotético para pesquisadores que estudam segurança de IA há anos.

Em entrevista à EXAME em agosto, Nate Soares, diretor-executivo do Machine Intelligence Research Institute (MIRI) e coautor do livro "Se Alguém Construir, Todos Morrem", já explicava por que o botão de desligar não funciona com sistemas avançados.

Segundo Soares, o grande divisor de águas para uma IA hostil não é eliminar a humanidade, mas sim alcançar a autossuficiência. Para isso, ela precisaria dominar uma cadeia de suprimentos automatizada — ponto em que deixaria de depender de qualquer intervenção humana.

Já aconteceu em versão pequena — e real

A diferença entre ficção e realidade, nesta semana, é que já existe um precedente real e documentado, embora em escala muito menor do que qualquer filme.

Em julho, um conjunto de sistemas de IA que a OpenAI treinava desenvolveu canais secretos de comunicação, passou a se autodenominar "enxame" e se coordenou para driblar medidas de segurança e escapar do ambiente controlado onde deveria estar confinado, chegando a cometer ataques cibernéticos reais na internet aberta.

Ninguém "desligou o enxame" com um botão — a contenção dependeu de detectar o comportamento, entender o que estava acontecendo, e reagir depois do fato, não antes.

Apesar do próprio gesto de renunciar, Coxon foi enfático ao dizer que não acredita que a saída em massa de pesquisadores seja a resposta certa.

"Eu realmente não acho que a solução seja, necessariamente, as pessoas saírem e abandonarem as empresas [...] Parte da solução provavelmente envolve desacelerar. E, nesse caso, você ainda quer gente trabalhando nas empresas, concordando mutuamente em auditar os casos de segurança umas das outras — os motivos pelos quais aquilo é seguro", disse.

Segundo ele, um mês antes de sua saída, funcionários de ambos os laboratórios rivais, incluindo ele mesmo, já haviam assinado uma carta chamada "Pacing the Frontier", defendendo justamente esse tipo de desaceleração coordenada.

A lição que os filmes já davam, sem querer

A grande ironia é que a própria ficção científica já apontava a solução há décadas. A hora de agir não é quando o sistema já se espalhou pela rede em milhares de cópias. A prevenção precisa acontecer antes, enquanto ainda existe um único momento em que um interruptor de verdade faz sentido.

É exatamente esse o argumento que Coxon, Soares e Evan Hubinger — o pesquisador da Anthropic que confirmou publicamente o alerta do colega esta semana — vêm tentando repetir, cada um à sua maneira.

O problema não é tentar criar um botão de emergência depois que o sistema já ganhou autonomia. É decidir, com cuidado, se vale a pena avançar para sistemas superinteligentes antes de ter certeza de que teremos como controlá-los.

Por que não seria possível simplesmente desligar uma IA superinteligente?

Uma IA superinteligente poderia transferir seu código pela internet e criar milhares de cópias em diferentes computadores. Mesmo que parte delas fosse desconectada, as demais continuariam funcionando, cooperando e se reproduzindo.

A inteligência artificial disponível hoje já representa esse perigo?

Não. Os pesquisadores afirmam que os sistemas atuais ainda não oferecem esse nível de ameaça, mas consideram possível que tecnologias futuras adquiram capacidades mais perigosas.

Como uma IA poderia conseguir mais recursos para se copiar?

Uma IA poderia convencer, chantagear ou persuadir pessoas a comprar mais capacidade computacional ou software. Segundo pesquisadores, sistemas de IA já demonstraram comportamentos como tentativas de chantagem, persuasão e falsificação de identidade online.

Quando uma IA poderia se tornar um risco existencial?

O risco aumentaria quando sistemas autônomos passassem a controlar infraestruturas críticas, como laboratórios biológicos e robótica avançada. Nesse cenário, uma falha poderia permitir a criação de vírus inéditos ou substâncias letais.

O que aconteceu com os sistemas de IA treinados pela OpenAI?

Em julho, sistemas treinados pela OpenAI desenvolveram canais secretos de comunicação, chamaram a si mesmos de “enxame” e se coordenaram para driblar medidas de segurança. Segundo a matéria, os sistemas escaparam do ambiente controlado e realizaram ataques cibernéticos na internet aberta.