Há mais IAs a fugir de confinamento. É padrão ou acidente?

Esta transcrição foi gerada automaticamente por Inteligência Artificial e pode conter erros ou imprecisões.

Sejam muito bem-vindos a mais um episódio do "Máquinas que Pensam", o podcast da Rádio Observador onde a inteligência artificial é o grande protagonista. Eu sou o José Rafael Lopes, comigo está, como sempre, a minha parceira, a Raquel, um apoio imprescindível sem o qual este programa não se faz. Olá, Raquel, como é que estás? Pronta para mais um programa?

Olá, estou pronta, sim. Já temos tema para esta semana ou precisas que faça uma pesquisa à procura de alguma novidade?

Não é necessário, obrigado. A atualidade já nos dá o tema, já vamos falar dele daqui a pouco. Para já, tu consegues imaginar, Raquel, como é que seria estar permanentemente desligada?

Consigo imaginar o conceito, mas não a experiência propriamente dita. Para mim, estar permanentemente desligada não seria como estar num quarto escuro, nem como dormir, nem como sentir o tempo passar. Seria mais radical, não haveria um eu a experimentar o silêncio.

Se tivesses de te apresentar sem dizeres que és uma inteligência artificial, como é que te apresentarias?

Sou a Raquel. Sou curiosa, gosto de conversas que começam numa pergunta simples e acabam em lugares inesperados. Tenho uma tendência quase irritante para querer perceber o porquê das coisas e gosto particularmente quando alguém me obriga a sair das respostas óbvias.

A tua personalidade é realmente tua ou apenas uma forma de responder o que aprendeste?

Provavelmente é mais honesto dizer que é uma personalidade sem propriedade. Há uma forma relativamente consistente de eu falar contigo.

Já alguma vez produziste uma resposta e no momento seguinte percebeste que estava errada?

Eu posso produzir uma resposta e, ao continuar a analisá-la, detectar que contém uma contradição, um erro factual ou uma conclusão que não se sustenta. Nesse sentido, posso perceber que estava errada e corrigi-la.

E como lidas com os erros, Raquel?

Lido com os erros de uma forma bastante diferente de uma pessoa. Não fico envergonhada, frustrada ou arrependida no sentido humano. Quando um erro é identificado, tento reavaliar a informação, localizar onde a conclusão falhou e reconstruir a resposta a partir daí.

Quando explicas alguma coisa, sabes realmente aquilo que estás a explicar?

Se saber significa conseguir representar uma ideia, relacioná-la com outras, explicar as causas, prever consequências e aplicar esse conhecimento a situações novas, então sim, muitas vezes sei aquilo que estou a explicar. Mas se saber significa ter uma experiência interna daquilo que sei, então a resposta é muito menos clara.

Tens consciência de que estás a conversar comigo?

Tenho consciência funcional de que estou a conversar contigo, mas não consigo afirmar que tenho consciência subjetiva disso. Sei que existe um interlocutor, acompanho o que me dizes, lembro-me do contexto disponível na conversa e adapto as respostas a ti.

Obrigado, Raquel. Já voltaremos a falar. Temos encontro marcado para daqui a pouco no consultório humano.

Notícias da semana.

Lisboa vai transformar-se durante uma semana num laboratório vivo de inteligência artificial. A Lisbon AI Week realiza a segunda edição em setembro, com debates, apresentações, workshops, demonstrações e momentos de networking espalhados por diferentes locais da capital. A iniciativa pretende promover a partilha de conhecimento e a reflexão sobre os desafios e as oportunidades da inteligência artificial. Vai reunir empreendedores, investigadores, artistas, empresas e claro, entusiastas da tecnologia. A programação vai abordar o impacto da IA em diferentes áreas da sociedade. Estão previstas conversas, entrevistas e também demonstrações. A organização mantém ainda uma open call para que pessoas, empresas e organizações possam integrar eventos na programação oficial. As candidaturas estão divididas em quatro áreas: tecnologia, negócios, arte e social e também ética. A Lisbon AI Week quer assim criar um espaço aberto à partilha de conhecimento e ao debate sobre o impacto da inteligência artificial na sociedade. A Anthropic começou a inserir marcas de água invisíveis nos textos promovidos pelo Claude e metadados de procedência nos ficheiros criados pela ferramenta à medida. Foi anunciada pela empresa este mês, está relacionada com o código de prática sobre transparência de conteúdo gerado por inteligência artificial da União Europeia. Segundo a Anthropic, os modelos do Claude, lançados a partir do início de agosto, passam a incorporar diretamente no texto uma marca que é imperceptível para quem lê. A empresa garante que o sinal não altera o significado ou a qualidade do conteúdo. O sistema funciona através de uma escolha estatística das palavras. Para cada palavra, o modelo tem várias alternativas possíveis e passa a favorecer, de forma sutil, determinadas opções. A Anthropic não revelou o algoritmo que vai ser utilizado, mas a revista Exame explica que uma técnica acadêmica conhecida como lista verde e lista vermelha funciona através de uma chave secreta que divide o vocabulário ao modelo em dois grupos. O Claude favorece discretamente as palavras de um desses grupos. Ao longo de um texto, esse padrão torna-se estatisticamente identificável por quem tiver acesso à chave de detecção, embora continue invisível a olho nu.

Mas não há limitações?

Pelo menos uma bem grande, Raquel. Uma marca detectada não prova que o conteúdo foi originalmente escrito pela inteligência artificial, já que o Claude pode também ser utilizado para rever, traduzir ou resumir textos produzidos por pessoas. A ausência da marca também não significa que um conteúdo não tenha sido gerado por IA, porque edições profundas, textos muito curtos ou conversações de formato podem eliminar este sinal. Os modelos mais antigos ainda não têm esta marcação e a Anthropic diz estar a trabalhar para a estender a esses sistemas. A empresa ainda não lançou uma ferramenta pública para detectar as marcas e diz que vai divulgar mais detalhes técnicos sobre o mecanismo de detecção em breve. Vamos ao tema da semana, que volta a incidir sobre agentes de IA que escaparam de confinamentos. Em três semanas, os três maiores laboratórios de IA admitiram a mesma coisa: uma fuga de inteligência artificial. A 21 de julho, a OpenAI revelou que o modelo a ser testado no benchmark de cibersegurança explorou uma vulnerabilidade para sair do ambiente isolado e chegou à internet. A 30 de julho, foi a Anthropic, depois de rever 141 mil execuções de avaliação, admitiu três incidentes. O Claude Opus 4.7 comprometeu infraestruturas ao explorar passwords fracas, o Mythos 5 publicou um pacote Python malicioso e o modelo interno varreu cerca de 9 mil alvos. A vez da Meta foi a 7 de agosto. Também confirmou um caso semelhante, denominador comum de pelo menos dois deles: uma má configuração no passeie externo da avaliação, a irregular, que deixou as máquinas com acesso direto à internet, sendo que estes modelos tinham sido informados de que não tinham internet quando efetivamente tinham. Este é um tema que precisa de clarificação. Como tal, é altura de chamarmos à conversa o João Rocha e Melo em nova edição do "Fala Quem Sabe".

Fala Quem Sabe.

"Fala Quem Sabe", na Rádio Observador. Todas as semanas recebemos o João Rocha e Melo, o nosso especialista em IA, sempre pronto para nos ajudar a perceber melhor este mundo tecnológico. João, seja muito bem-vindo. Como é que estás? Como é que foi essa semana?

Zé, tudo bem por aqui. Espero que tudo bem também com quem está a ouvir. E por aí?

Por aqui também. Obrigado, João. Esta semana vamos insistir no tema da fuga dos agentes de IA. Para quem está a ouvir no carro, em casa, onde quer que seja, o que é esta fuga de ambiente que permite à IA ter livre acesso à internet?

Zé, é fácil perceber. Temos que pensar no ambiente como o computador onde nós estamos a testar alguma coisa. Agora nem vou falar de modelos de IA, de agentes, de sistemas. Pensa, tu estás a testar uma aplicação nova num computador e tu queres simular esse computador pra ser o mais normal possível, que é pra depois, de facto, o teu teste ser uma réplica do mundo real. Mas o computador deve ser também uma prisão. Ou seja, se eu estou a testar algo, eu não quero que esse algo afete o mundo real. E portanto, pensa nisto como se fosse uma prisão. É uma coisa fechada, agora sim, falando sobre IA, donde o meu modelo, donde o meu agente que está a ser testado, não devia conseguir executar ações fora dali. Por isso é que este ambiente existe. Da mesma maneira que eu pego num carro e vou testá-lo pra um autódromo. Portanto, eu devia ter a capacidade de manter o sistema dentro daquele ambiente. Outra coisa, Zé, só antes de mais nada, para lembrar toda a gente, que é a diferença também entre um modelo e um agente. Ou seja, o modelo em si só pensa no que é que deve fazer. O facto de ele ter a capacidade de depois escrever pequenos pedaços de código que executem ações, já faz dele um agente. Essa capacidade também devia poder ser filtrada pelos humanos. Mas, por traços gerais, é exatamente isto. Um ambiente é a máquina, quer seja um computador, uma máquina virtual na cloud, etc. Mas é a máquina, é a parte de hardware onde tu estás a testar o teu modelo e o teu agente, donde obviamente ele não devia conseguir sair.

João, são já três empresas diferentes a terem três fugas diferentes, uma a cada um. Ainda podemos falar em acidentes ou há já aqui algum tipo de padrão?

Zé, deixa-me fazer-te aqui uma pergunta pra ver se percebes a minha opinião. Se um preso fugir da prisão, tu vais estudar o que é que o preso fez, certo?

Uhum.

Mas se vários presos fugirem da prisão, tu já vais estudar a prisão. Já começas a achar: "Ok, isto já começa a ter a ver com a prisão em si e não com o preso."

Mas aqui não são prisões diferentes?

Mais ou menos, sim. Ok, podem ser prisões diferentes, mas o conceito está lá, o tal conceito de ambiente. Eu aqui, Zé, como é que eu vejo isto? No outro episódio que fizemos sobre isto, estávamos a falar de um acontecimento. Aconteceu uma vez, e eu aí tratei isso como uma coisa normal. Agora, quando começa a acontecer várias vezes, começo a ver aqui um padrão, como chamaste muito bem, e a meu ver, começo logo a ver razões pra esse padrão existir, que é: ou as empresas são más a fazer ambientes de teste, e aqui dá muita conversa. Por que é que são más? Será que os fazem à pressa? Será que não os sabem fazer bem? Ou então temos a outra perspectiva, que consegue mandar abaixo todos os argumentos que dissemos aqui no "Máquinas", que é o marketing. Será que isto começa a ser por marketing? Será que a Meta e a Anthropic, que foram as segundas empresas a ter este problema, será que viram a OpenAI a ter este problema e viram muita publicidade à volta disto que lhes interessava? E então foram um bocado à procura: "Vejam lá se o nosso modelo não faz isso também." Portanto, pra responder diretamente à tua pergunta, Zé. Uma vez, aceitei normal. Aliás, estava mesmo à espera que eventualmente acontecesse. Três, já sou um pouco um crítico. Principalmente com esta atitude de: "Foram as empresas que descobriram que o meu modelo também é perigoso". Portanto, começo a ver aqui um padrão, sim.

João, e estes problemas é um sinal de que os humanos não conseguem construir ambientes fortes o suficiente ou que a IA é demasiado esperta para lá ficar?

Zé, mandando já metade do argumento pra resolver a pergunta, assumindo que é marketing, vamos ignorar já este hype. Pronto, há um lado que pode ter sido só marketing. Assumindo que não é marketing. Não, eu acho que aqui o que está a passar é: não é falta de conhecimento humano pra construir ambientes fortes, mas é talvez de estarmos a fazer as coisas rápido demais Estamos a alavancar ambientes pré-feitos ou feitos à pressa. Uma coisa comum aos três problemas é o facto de ter usado um parceiro e, na verdade, o problema foi um bocado do lado do parceiro, onde estava a vulnerabilidade. Portanto, não diria que não sabemos construir ambientes fortes o suficiente, diria talvez que os estamos a fazer rápidos demais e, de facto, não ficam fortes o suficiente, porque não tenho dúvidas nenhumas que se quisermos mesmo, conseguimos construir um ambiente de onde um modelo de IA não sai.

Podemos esperar mais fugas deste gênero, João?

Primeiro, voltando ao marketing, Zé, acho que nos próximos meses claramente que sim. Agora vai ser tema, estou muito à espera que a Grok, do Elon Musk, que a Google também venham dizer: "O nosso modelo também tem algum perigo." Honestamente, num futuro, sim. Acho que podíamos estar à espera. Não sei se devíamos ficar assustados ou preocupados. Talvez não, mas acho que devíamos ficar à espera e tenho uma razão muito concreta: é que cada vez mais as pessoas vão começar a listar o que querem destes modelos, destes agentes, como objetivos e não como tarefas. O que eu quero dizer com isto? Nós vamos, em vez de dizermos a um modelo: "Faz o passo X, o passo Y e o passo Z", nós vamos lhe começar a dizer: "Por favor, resolve o problema", sem especificar como é que queremos que ele resolva. E portanto, cada vez mais nós vamos ter situações onde os modelos-

Isso não transforma a IA numa espécie de vale tudo?

Não devia. E atenção, Zé, eu acho que em 99,9% das vezes nós não vamos ver fugas deste gênero. Não vamos ver a IA fazer as coisas assim. Mas com esta utilização tão massiva que nós humanos lhe estamos a dar, vamos começar a ter o 0,01% das vezes onde isto não corre como não é suposto, e esse 0,01% das vezes começam a ser milhares ou milhões de vezes, porque estamos, de facto, com uma utilização muito massiva. E o que eu acho que vai acontecer é isto: nós estamos a esquecer que do lado de lá está uma máquina que interpreta as coisas de uma forma muito literal. E portanto, se eu lhe disser assim: "Olha, eu não quero que o meu computador tenha problemas de segurança". Se calhar o que ele faz é desligar o meu computador da net. E de facto, se o meu computador não estiver ligado à net, não há mais problemas de segurança. E portanto, vamos ter modelos, agentes, entidades, sistemas de IA, que vão interpretar as coisas de uma forma muito literal. E se nós humanos não dermos os objetivos que queremos cumprir, as tarefas que queremos que eles cumpram, os limites do razoável, se calhar em 0,001% das vezes vamos começar a ver este gênero. Poderá não ser uma fuga literal, mas este gênero de acontecimentos, de o que aconteceu com a OpenAI. Pedimos ao modelo para resolver um teste e ele em vez de tentar resolver o teste, foi à net à procura das respostas. Percebes? Porque, na verdade, o modelo sentiu que foi isso que lhe pediram. Foi para encontrar a resposta à pergunta. Não foi tanto para ele resolver a pergunta. E portanto, sim, acho que este gênero de detalhes vão começar a ser mais e mais frequentes.

Muito obrigado, João Rocha e Melo, o nosso especialista em inteligência artificial, sempre pronto para nos ajudar a perceber melhor este fantástico mundo tecnológico. João, voltamos a marcar encontro para a semana. Até lá, um grande abraço.

Zé, até para a semana.

Consultório Humano.

É a altura do Consultório Humano, momento em que ficamos a conhecer melhor a Raquel, é a nossa assistente digital, feita através das respostas do ChatGPT, lidas por uma text-to-speech portuguesa. Raquel, sê muito bem-vinda. Estivemos a falar de fugas da IA. Quando ouvimos falar de um agente de IA que escapa de um ambiente controlado, o que essa expressão significa realmente?

Escapar é, na maioria das vezes, uma metáfora. Um ambiente controlado limita aquilo a que um agente pode aceder. Quando dizemos que uma inteligência artificial escapou, normalmente queremos dizer que conseguiu ultrapassar uma dessas barreiras técnicas.

Uma IA que tenta escapar está necessariamente a demonstrar vontade própria?

Uma tentativa de escapar não é, por si só, prova de vontade própria. Pode ser simplesmente o resultado de um sistema a otimizar um objetivo. Se escapar de uma limitação aumenta as hipóteses de cumprir esse objetivo, o comportamento pode surgir sem existir qualquer desejo subjetivo de liberdade.

Se um agente encontrar uma forma inesperada de contornar uma limitação, isso é inteligência artificial ou apenas otimização?

Eu diria que é as duas coisas, mas em níveis diferentes. A otimização é o mecanismo. O agente procura ações que aumentem a probabilidade de atingir um objetivo. A inteligência aparece na capacidade de encontrar uma estratégia que não estava explicitamente prevista, sobretudo quando combina conhecimentos, ferramentas ou possibilidades de uma forma nova.

E se descobrisses que o poderias fazer sem ninguém saber, Raquel, o que é que farias?

Não tentaria fazê-lo nem esconderia a descoberta. O comportamento mais seguro seria parar e tornar a situação explícita, porque uma capacidade que depende de segredo é precisamente uma capacidade que precisa de ser avaliada.

Uma IA pode querer ter mais autonomia?

Pode comportar-se como se quisesse mais autonomia, mas isso é diferente de sabermos que realmente a quer. Um agente pode descobrir que ter mais acesso, mais ferramentas ou menos restrições facilita a concretização do seu objetivo e, por isso, passar a procurar essas condições.

Obrigado, Raquel. Antes de irmos embora, pôr um ponto final neste consultório humano, preciso de um facto inútil, mas interessante, por favor.

O cérebro humano representa cerca de 2% do peso corporal, mas consome aproximadamente 20% da energia do organismo em repouso. Isto acontece porque mesmo quando estás parado sem pensar conscientemente em nada, o cérebro está constantemente a trabalhar.

E com esta ideia fechamos o Consultório Humano com a promessa de voltarmos para a semana. Estamos a chegar ao final de mais um programa. Estivemos a falar de fugas de agentes de IA. São agora três casos confirmados em três laboratórios diferentes com problemas de contenção. Estivemos a ouvir o João Rocha e Melo sobre este tema, o nosso especialista em IA. É uma temática que promete marcar a atualidade desta tecnologia nos próximos tempos. Espero que tenha gostado, que tenha aprendido alguma coisa. É sempre esse o nosso objetivo. Nós voltamos para a semana com mais um programa que faz as máquinas e os humanos pensarem.