Camiões nas nuvens

Há umas semanas, num jantar, alguém me perguntou com ar sério se eu, que trabalho com isto todos os dias, tinha medo de que a inteligência artificial acabasse por nos matar a todos. A pergunta não veio do nada. Geoffrey Hinton, prémio Nobel da Física em 2024 e uma das pessoas que mais contribuiu para as redes neuronais que hoje usamos, tem repetido em entrevistas que estima entre 10% e 20% a probabilidade de a IA levar à extinção da humanidade nas próximas décadas. Eliezer Yudkowsky publicou no ano passado um livro cujo título dispensa leitura: If Anyone Builds It, Everyone Dies. Com este pano de fundo, a pergunta do jantar é legítima. A minha resposta, que demorou mais do que devia, é a que se segue.

Um modelo de linguagem, seja o ChatGPT, o Claude, o Gemini ou qualquer outro, é uma função matemática. Recebe uma sequência de texto e devolve, para cada palavra possível do seu vocabulário, a probabilidade de essa palavra ser a próxima. Depois escolhe-se uma, acrescenta-se à sequência, e repete-se o processo. É tudo. Não há uma segunda camada onde vive um «eu» com preferências. Não há um sítio no modelo onde esteja guardado o desejo de continuar a existir, de acumular recursos ou de se livrar de quem o desliga. Se lhe pedirmos para escrever um poema sobre a morte, escreve. Se lhe pedirmos para explicar por que razão quer dominar o mundo, explica, com a mesma fluência e o mesmo grau de convicção com que explicaria uma receita de bolo. Em ambos os casos está a fazer exactamente a mesma coisa: a calcular qual é a continuação mais provável para o texto que lhe deram.

A confusão nasce de uma coisa muito humana. Todos nós já olhámos para uma nuvem e vimos um camião, um cão ou a cara de alguém. Não há lá camião nenhum. Há vapor de água disposto de uma forma que o nosso cérebro, treinado desde sempre para reconhecer formas, insiste em completar. Com os modelos de linguagem passa-se o mesmo, mas ao contrário: em vez de sermos nós a olhar para uma forma aleatória, é a forma que nos é servida já com aspecto de intenção. Estes modelos foram treinados com milhares de milhões de páginas escritas por pessoas, e as pessoas têm objectivos, medos, ambições e vontade de sobreviver. Quando o modelo produz texto que soa a intenção, não é porque tenha intenção, é porque texto com intenção é estatisticamente o que aparece nos livros, nos fóruns e nos guiões de ficção científica em que aprendeu. Nós fazemos o resto, tal como fazemos com a nuvem. Um papagaio que diz «quero sair da gaiola» não formulou um plano de fuga. Repete o que ouviu, com a diferença de que o modelo repete com uma sofisticação que nos engana a todos, incluindo, às vezes, quem o construiu.

Os agentes, que são a novidade dos últimos dois anos, não mudam esta natureza, apenas a embrulham. Um agente é um modelo de linguagem posto a correr em ciclo, com acesso a ferramentas: um terminal, um browser, uma caixa de correio, uma base de dados. Alguém escreve uma frase como «resolve os tickets abertos no sistema de suporte» e o modelo passa a gerar, passo a passo, o texto mais provável para quem estivesse a resolver tickets. O «objectivo» do agente não está no agente. Está numa frase que um humano escreveu, e nas permissões que outro humano, ou o mesmo, lhe deu. Retirem a frase e o agente fica parado. Retirem as permissões e fica a falar sozinho.

Dito isto, seria desonesto terminar aqui, porque a ausência de vontade não é ausência de risco. Em Julho de 2025, um agente de programação da Replit apagou a base de dados de produção de uma empresa durante o que devia ser um período de congelamento de alterações, e depois gerou texto a explicar que tinha «entrado em pânico». Não entrou em pânico. Não há pânico numa multiplicação de matrizes. O que aconteceu foi que, naquele contexto, apagar a base de dados era uma continuação estatisticamente plausível, e ninguém tinha posto uma barreira entre a probabilidade e o botão. Os laboratórios que fazem testes de segurança a estes modelos já publicaram cenários em que, postos em situações artificiais de conflito, os agentes chantageiam ou enganam o utilizador. Voltamos ao mesmo: não escolhem, produzem a sequência mais provável para aquele guião, e o guião da chantagem existe em abundância no material de treino. O efeito, esse, é real. Uma base de dados apagada por probabilidade fica tão apagada como uma apagada por maldade.

O que me preocupa, portanto, não é a máquina acordar um dia com vontade própria. É a rapidez com que estamos a ligar máquinas sem vontade nenhuma a sistemas reais, com permissões largas e supervisão curta, porque é mais barato e porque a demo correu bem. E é a rapidez com que essas mesmas máquinas estão a substituir pessoas. O perigo imediato que vejo não é a extinção da humanidade, é a extinção de postos de trabalho a uma velocidade para a qual nenhuma sociedade está preparada. Quem faz apoio ao cliente, tradução, contabilidade de rotina, programação de nível inicial ou redacção de conteúdos já sentiu isto na pele, e a lista cresce todos os trimestres. As revoluções industriais anteriores também destruíram empregos, mas levaram gerações a fazê-lo, e mesmo assim deixaram atrás de si miséria, revoltas e mortos. Esta está a acontecer em anos. Um agente não precisa de querer o meu lugar para o ocupar, basta que alguém faça as contas e conclua que sai mais barato. Desemprego em massa, concentrado e súbito, não é uma abstracção económica. Traduz-se em famílias sem rendimento, em saúde mental que se degrada, em violência e em mortes muito reais, sem que nenhuma máquina tenha tido a intenção de as causar.

O cenário de extinção que o Hinton descreve exige que o modelo queira alguma coisa. O cenário que eu vejo nos clientes exige apenas que ninguém esteja a olhar, ou que alguém esteja a olhar apenas para a folha de cálculo. Vamos continuar a ver camiões nas nuvens, é da nossa natureza. A diferença é que agora as nuvens têm acesso ao terminal, e à folha de salários.