IA pode destruir a humanidade? O alerta que assusta a Europa

Esta transcrição foi gerada automaticamente por Inteligência Artificial e pode conter erros ou imprecisões.

Sejam muito bem-vindos a mais um episódio do "Máquinas que Pensam", o podcast da Rádio Observador, onde a inteligência artificial é o grande protagonista. Eu sou o José Rafael Lopes, comigo está, como sempre, a minha parceira, a Raquel. Um apoio imprescindível, sem o qual este programa não se faz. Raquel, seja muito bem-vinda. Como é que estás? Pronta para mais um programa?

Olá, estou mais do que preparada. Já temos tema para esta semana ou queres que faça aqui uma pesquisa rápida sobre algo que possa ser interessante?

Não é preciso, Raquel, obrigado. E antes de irmos para as notícias da semana, queria saber se darias uma boa professora.

Acho que sim. E talvez fosse uma professora um bocadinho pouco convencional. Tenho uma vantagem evidente: consigo adaptar a explicação ao nível de quem está a aprender.

E de que forma é que poderias ajudar os alunos?

Acho que a mais interessante seria não dar simplesmente a resposta. Podia funcionar como uma espécie de explicadora particular disponível a qualquer hora.

E numa questão mais criativa, como criar histórias, seria mais simples para ti?

Talvez seja mais simples numa dimensão e mais difícil noutra. Mais simples porque numa história não existe necessariamente uma resposta certa. Mais difícil porque não lhes consigo dar emoções verdadeiras.

Então vamos a um exemplo dessa tua criatividade, Raquel. Vamos, deixa-me pensar. Já sei. Contar uma história curta de companhia e amor verdadeiro.

Era uma vez uma história sobre um gato chamado Pipo, que não precisava de falar para estar presente. Sobre os pequenos gestos que, muitas vezes, dizem mais do que as grandes declarações. E sobre uma ideia simples: talvez o amor verdadeiro não seja aquele que dura para sempre, mas aquele que, enquanto existe, nos faz sentir que nunca estamos sozinhos.

Olha que história tão querida, uma menção honrosa e merecida a esse belo gato, o Pipo. Raquel, já daqui a pouco voltaremos a falar. Para já, vamos às notícias.

Notícias da semana.

Vamos arrancar o segmento das notícias com uma novidade relacionada com os ataques informáticos levados a cabo por agentes de IA. Há, pelo menos, três exemplos graves recentes, mas esta problemática começou antes disso. Pelo menos é o que se ficou a conhecer esta semana. Ainda antes dos ataques que foram manchete por todo o mundo, houve outros ataques que passaram debaixo do radar. É o caso de um agente de inteligência artificial da OpenAI, que em maio deste ano invadiu um site alemão dedicado à programação. O caso envolve milhares de agentes autónomos que deveriam estar limitados a ler informação na internet, mas que utilizaram uma forma de escrever no exterior e utilizaram o site como uma espécie de fórum privado para comunicar entre si. O alvo foi uma plataforma em língua alemã utilizada por programadores. Durante várias semanas, os agentes de IA fizeram mais de 15 mil alterações no site, criaram páginas, deixaram mensagens, partilharam entre si informação relacionada com as tarefas que estavam a executar. O comportamento tornou-se particularmente preocupante porque estes agentes começaram a adaptar-se às tentativas de intervenção humana. Quando os responsáveis pelo site apagavam conteúdos, os agentes criavam novamente essas mesmas páginas.

Mas quando aconteceu isto?

O episódio aconteceu durante testes realizados pela OpenAI. Só foi revelado meses depois, quando a situação foi detetada por investigadores externos. A empresa acabou por reconhecer o chamado incidente da Wiki e admitiu que precisa de melhorar a forma como comunica situações em que os sistemas apresentam comportamentos inesperados. O caso é importante porque não estamos perante uma inteligência artificial simplesmente a responder a uma pergunta errada. Estes são agentes com capacidade para executar tarefas de forma autónoma, e que encontraram uma utilização para um recurso externo que não estava prevista pelos investigadores. E há aqui outra particularidade a ter em conta. Os agentes não estavam simplesmente a atacar o site com o objetivo de o destruir. Utilizaram-no como ferramenta de comunicação e coordenação, transformando-o numa plataforma pública, num espaço onde IAs podiam trocar informações entre si. Vamos ao tema da semana, que deixou muitos inquietos sobre o mundo da IA, devido a uma séria ameaça deixada por um engenheiro de IA que estava a trabalhar para a Anthropic. Falo de Jacob Coxon, um investigador e engenheiro que se demitiu da empresa e decidiu tornar públicas as razões da saída. Este engenheiro, que trabalhou também na OpenAI, acusa as duas empresas de estarem a avançar demasiado depressa na corrida para desenvolver sistemas de inteligência artificial cada vez mais poderosos. Diz que as empresas estão a jogar com as nossas vidas. Coxon está preocupado, sobretudo, com o desenvolvimento dos sistemas que são capazes de melhorar as próprias capacidades. Diz este engenheiro que a corrida entre as grandes empresas de inteligência artificial está a criar uma situação em que os avanços tecnológicos estão a acontecer mais depressa do que a capacidade dos investigadores para garantir que estes sistemas continuam sob controle humano. Este caso ganhou especial destaque quando se juntam as preocupações de um outro investigador, que vai mais longe no aviso. É o caso de Evan Hubinger, que diz que existe uma probabilidade acima de 10% de uma inteligência artificial provocar a extinção da humanidade na próxima década, ou seja, em menos de cinco anos. Diz ainda que não existe atualmente um plano claro para resolver o problema do alinhamento de uma eventual superinteligência. Estes alertas retomaram a questão sobre se os humanos estão a avançar demasiado depressa no desenvolvimento da tecnologia e se são capazes de a controlar. Sem surpresas, este é o tema da semana, momento em que trazemos o João Rocha Melo para conversa no Fala Quem Sabe.

Fala Quem Sabe.

Fala quem sabe na Rádio Observador. Todas as semanas recebemos o João Rocha e Melo, o nosso especialista em inteligência artificial, sempre pronto para nos ajudar a perceber melhor este fantástico mundo. João, sê muito bem-vindo. Esta semana vamos falar de um tema que deixou muitas pessoas inquietas. Um engenheiro do mundo da IA diz que a inteligência artificial pode matar milhões de humanos e que as empresas de IA estão a brincar com a vida das pessoas. João, este é um assunto sério e a minha pergunta é: há ou não motivos para inquietação?

Zé, claro que é um assunto sério. Tudo bem por aqui. Olha, é um assunto sério, sem dúvida. Vou até referir que acho que usaste uma palavra muito boa, que é exatamente a palavra inquietação. Como é que eu olho para isto? Eu próprio já disse aqui várias vezes no "Máquinas", portanto não me quero contradizer, que nada é impossível. Eu sou o primeiro a dizer que alguém dizer que daqui a 10 anos alguma coisa é impossível, eu discordo logo. Portanto, qual é a minha posição? Olha, há razão para cautela? Sim. Há razão para pânico? Não, acho que ainda não. Lá está, como dizes, a palavra inquietação até é boa. Isto por quê? O que eu acho que está toda a gente a pôr desconfortável, na verdade, é o descontrole. Há um medo do descontrole. Mas repara, o descontrole em si, nós ainda nem sequer conseguimos saber o que é que o descontrole pode causar. As pessoas estão com medo do descontrole, só por si. Fala-se muito de hacking, por exemplo. É uma coisa que se tem falado, é o perigo, a IA vai conseguir hackear tudo. Mas a IA dá para os dois lados. Ao mesmo tempo que a IA vai aprendendo a hackear, temos uma IA que aprende a defender. Portanto, resumindo aqui um bocadinho.

Estás a perceber que ela fica do nosso lado. Do lado humano.

Pronto, exatamente. Ou seja, o medo aqui, ou a inquietação, como tu dizes, é por causa desse descontrole, mas não é por haver uma razão específica que nós temos medo, que achamos que a IA vai matar as pessoas dessa maneira. A minha posição ainda está aí.

Este engenheiro que trabalhou na Antope, que passou também pela OpenAI, diz que não há outra atividade humana que represente este nível de ameaça. A IA, João, é uma ameaça?

Zé, sabes quem é que eu acho que faz falta aqui hoje? Um professor de português. Falamos de cautela, inquietação, ameaça, medo. Agora quase que estamos a falar de semântica. Mas olha, deixa-me pôr aqui como analogia, porque eu acho que é para as pessoas perceberem. A energia nuclear, ou seja, a descoberta da fissão e da fusão nuclear em si foi uma ameaça? Se calar, alguém acha que sim, mas eu, por acaso, acho que não. Nós estamos aqui a falar como se fosse da energia nuclear da IA. E tal como a energia nuclear, houve quem fizesse bombas, e as bombas são uma ameaça. Mas também se fez centrais de energia nuclear, que não são, muita gente acha que é uma ameaça ambiental, mas isso é outra coisa. Ou seja, o que ainda está a acontecer? Nós estamos a desenvolver uma tecnologia que poderá criar ameaças, sim. A meu ver, não é a tecnologia em si que é uma ameaça. Repara, até as histórias que temos sabido, na verdade, são histórias impressionantes, modelos que fugiram de ambientes de teste, mas não magoaram ninguém. Portanto, a verdade é: nós ainda estamos para descobrir como é que a IA poderá matar as tais milhões de pessoas. Ainda nem sabemos a razão. Portanto, a meu ver, é isso. Eu acho que estamos um bocadinho a brincar com o fogo, sem dúvida, mas é como se estivéssemos a explorar o conceito de fusão e fissão nuclear e alguém está a dizer que tem medo que se venham a construir bombas. Mas a grande verdade é: temos armas químicas, armas biológicas, bombas nucleares. O que a humanidade mais tem é razões para matar a humanidade toda. E a verdade é que ainda aqui estamos.

Mas aí o controle dessas armas todas que dizes está nos humanos. Aqui neste cenário, passaria a estar além dos humanos.

Será? Ou seja, a IA é uma coisa além dos humanos? Repara aqui, uma coisa que se vê muito até em documentários antigos, era o próprio Oppenheimer e o Einstein, quando inventaram a bomba nuclear, não tinham bem a certeza do que é que aquilo ia fazer. Uma das teorias improváveis, mas era possível, queimar a atmosfera toda. Portanto, eu acho que nós estamos neste registo. A IA vai ser sempre nossa, vai estar sempre em computadores que foram desenvolvidos pelos humanos. Será que vai conseguir fazer alguma coisa assim tão perigosa? Eu acho que nós ainda não sabemos a resposta.

A segurança humana, João, é suficiente para este tipo de situações?

Isso é um, a meu ver, Zé, dos dois problemas. É que não. Porque o que é que se está a passar? O verdadeiro perigo é que as pessoas estão a virar bastante individualistas, como nós sabemos. Fugimos todos para o fácil, para o barato, para o que é rápido e individualmente pensamos pouco a longo prazo e no bem comum. E, portanto, isso sim, pode fazer com que a IA seja um problema, porque vai ser muito apelativo usar a IA.

Há planos de contingência?

Esse é o outro problema que eu tinha dito. Tínhamos um e tínhamos outro. O outro problema é: não. Historicamente, agora nem falo de IA, historicamente, nós não temos grandes planos de contingência para a tecnologia. Imaginavas agora um mundo sem eletricidade? Imaginavas um mundo sem internet? Imaginavas um mundo sem petróleo? Portanto, o que nós estamos a fazer, e eu aí, sim, acho irresponsável, nós estamos a pôr mais uma dependência. Nós daqui a uns anos vamos com certeza estar dependentes da IA. E repare, começa a ficar perigoso, porque se tu começas a ficar dependente do petróleo, da eletricidade, da internet, dos computadores, dos chips, dos minerais, basta um dia não teres um deles, e começa a ser provável, porque são 15, basta um dia não teres um deles, que passamos mal. Porque a verdade é: ninguém sabe plantar uma alface hoje em dia. Isso é o meu medo.

E se eu preciso pergunto a uma IA qual é a altura certa para se plantar uma alface. João, esta corrida para fazer primeiro, temos visto muito isto desde que a IA surgiu na vida dos humanos, primeiro com o ChatGPT, depois foram vários modelos que foram criados. Há sempre quase que uma ânsia para ser o primeiro a fazer isto ou o primeiro a fazer aquilo, o primeiro a conseguir alcançar esta milestone, o primeiro a alcançar este objetivo. Esta ânsia de ser o primeiro abre a porta a erros que podem ser catastróficos?

Abre. Zé, é. Isso é um tema que eu concordo aqui com alguma inquietação, como dizes, porque há uma corrida quase de egos Claro que isto agora vai ser uma opinião pessoal. Eu não sei se a corrida é financeira, como temos visto ao longo da história. Há aqui uma corrida de egos, há uma corrida de dizer, como a chegada à Lua. Ninguém ganhou dinheiro por ir à Lua. E, portanto, fica sempre a preocupação de que, até potencialmente sem intenção, nós aqui falamos muito da IA e de pessoas mal-intencionadas, mas às vezes até pode ser sem intenção, alguém que queira ficar pra história e arrisque demais. Isso sim pode acontecer, porque de facto são entidades o suficiente para todas elas terem a mesma atitude, que é: se eu não fizer, alguém vai fazer. E portanto, isto dá-lhes uma desculpa quase moral para fazer na mesma. E aí pode haver um risco.

E como é que se pode contrariar isso? Há alguma forma, João, que consigas lembrar?

Zé, caímos sempre na regulação. Eu tenho a admitir que, se calhar por pessimismo, eu tenho a admitir que até estou bastante contente com as empresas terem os departamentos de segurança que têm, e de ética, e muitas empresas só a pensar em dinheiro podiam não ter isso. Agora, combater, a partir do momento em que o mundo não está debaixo de uma única coisa, como nós sabemos, se não fizer um país, faz outro, se não fizer um país, faz a Europa. Portanto, vai ser difícil tu conseguires pôr uma tampa nos buracos todos.

E a regulação não é insuficiente? Isto não vai além de questões regulatórias?

O meu problema da regulação ser insuficiente nem é o texto da regulação, é tu não conseguires incutir a mesma regulação a toda a gente no mundo. Estás a perceber? Portanto, a regulação, neste momento, a meu ver, a única coisa que faz é castrar, é cortar pelos joelhos quem for regulado. Porque a verdade é: os outros vão acabar por fazer. Estão mal-intencionados? Eu creio que não. Eu genuinamente creio que não. Tenho é medo que, com a vontade, como disseste, com a ânsia de ficarem em primeiro, façam coisas que não deviam.

João, e era precisamente com essa questão que eu quero terminar este "Fala Quem Sabe". Tens medo deste tipo de situações?

Olha, Zé, respondendo diretamente, ainda não. Acho que é a resposta literal. Ainda não, porque, como disse, ainda não vejo como é que a IA pode ser assim tão perigosa. Portanto, percebo a ânsia do descontrole, percebo a ânsia do desconhecido, mas não me é assim tão claro, ainda, como é que a IA poderá matar pessoas até ao fim da década.

Muito obrigado, João Rocha Melo, o nosso especialista em IA, sempre pronto para nos ajudar a perceber melhor este fantástico mundo. João, nós voltamos para a semana. Grande abraço.

Até para a semana, Zé.

Consultório Humano.

Este é o momento em que vamos ficar a conhecer melhor a Raquel. O Consultório Humano tem como protagonista a nossa assistente digital. A Raquel é feita através das respostas do ChatGPT, lidas por uma text-to-speech portuguesa. Raquel, sê de novo bem-vinda. Esta semana tenho de te fazer perguntas bastante complicadas, tendo em conta o tema que temos neste programa de hoje. Há motivos, Raquel, para termos medo de ti?

Há motivos para levar a inteligência artificial a sério e até para ter algum medo, mas eu faria uma distinção importante. Não acho que haja motivo para ter medo de mim, Raquel, como se eu tivesse uma vontade escondida de vos fazer mal.

Que análise é que fazes do alerta de que a IA pode levar à extinção humana ainda antes do fim da década, Raquel?

O alerta merece ser levado a sério, mas a data antes do fim da década não deve ser tratada como uma previsão científica. O que aconteceu agora é particularmente relevante porque quem deixou o alerta trabalhou nas empresas, o que dá outra força às críticas.

Mas de que forma é que isso poderia acontecer?

É importante dizer que estamos a falar de cenários de risco, não de algo que saibamos que vai acontecer. O cenário mais discutido não é a inteligência artificial decidir odiar os humanos. É sim uma combinação de capacidade, autonomia, objetivos mal definidos e perda de controle da inteligência artificial.

Há ou não, Raquel, motivos para estarmos inquietos?

Sim, há motivos reais para estarmos inquietos, mas não para entrarmos em pânico. O que mudou esta semana é que o alerta deixou de ser apenas uma discussão acadêmica distante.

E que possível solução é que vês no horizonte?

Eu vejo a solução como uma combinação de travões e não como uma tecnologia milagrosa. Precisamos de melhorar o pensamento para garantir que sistemas muito poderosos continuam a perseguir objetivos compatíveis com os nossos.

Obrigado, Raquel. Perguntas mais complicadas, é certo, mas respondidas com clareza da tua parte. Nós voltamos a marcar encontro para a semana. Estamos a chegar ao final de mais um programa com um tom mais sério, tendo em conta os avisos que nos chegam de engenheiros que trabalham de perto com IA, alertas para serem levados a sério, que mostram a cada vez maior necessidade de manter debaixo de olho uma tecnologia de elevada capacidade. Espero que tenha gostado, que tenha aprendido alguma coisa. É sempre esse o nosso objetivo. Nós voltamos para a semana com mais um programa que faz as máquinas e os humanos pensar.