Frear ritmo da IA pode consolidar quem já está na frente, diz diretora do CEIA

RESUMO | Frear o desenvolvimento dos modelos mais avançados de inteligência artificial pode concentrar ainda mais a tecnologia nas big techs sem resolver os desafios de segurança, afirma Telma Woerle, diretora e fundadora do CEIA da UFG, em entrevista à EXAME. Para a pesquisadora, uma desaceleração da IA só faria sentido com auditorias independentes, acesso acadêmico e transparência.

Frear o desenvolvimento dos modelos mais avançados de inteligência artificial pode acabar concentrando ainda mais a tecnologia nas grandes empresas, sem necessariamente resolver os desafios de segurança, afirma Telma Woerle, diretora e fundadora do Centro de Excelência em Inteligência Artificial (CEIA) da Universidade Federal de Goiás (UFG).

Em entrevista à EXAME, a pesquisadora diz que conceitos como superinteligência ainda não possuem métricas claras de avaliação e defende que uma eventual desaceleração só faria sentido se viesse acompanhada de auditorias independentes, acesso acadêmico e mais transparência sobre os modelos.

Para Woerle, restringir o avanço sem ampliar a capacidade de universidades e centros de pesquisa pode reduzir justamente a diversidade de atores capazes de estudar, testar e avaliar os riscos da inteligência artificial.

EXAME: Dario Amodei escreveu, no dia 12, que sem uma desaceleração a IA pode, em seis a doze meses, ser capaz de comandar um enxame de agentes e tomar a internet inteira. Sam Altman, Elon Musk e Demis Hassabis apoiaram publicamente a direção geral do argumento. Frear o desenvolvimento agora pode adiantar alguma coisa — e, se puder, adiantar em relação a quê exatamente?

Eu acho que a primeira pergunta é o que a gente faria com esse tempo. Frear por seis meses ou um ano só faz sentido se esse período servir para criar mecanismos melhores de avaliação, segurança e auditoria.

Existe uma diferença enorme entre quem está desenvolvendo esses modelos dentro das big techs e quem está tentando acompanhar esse desenvolvimento em empresas menores ou na pesquisa.

Nós não temos acesso aos mesmos modelos, à mesma infraestrutura e, principalmente, às mesmas informações que as grandes empresas. Muitas vezes só sabemos de um comportamento preocupante quando a própria empresa decide divulgá-lo.

Então, quando alguém diz que um sistema pode chegar a determinado nível de capacidade em seis ou doze meses, eu não descartaria o alerta. Quanto mais grave a afirmação, mais importante é abrir as evidências para que outros pesquisadores consigam avaliá-la.

EXAME: A palavra superinteligência voltou ao centro do debate, inclusive em projeto de lei no Congresso americano que propõe proibi-la. Como pesquisadora, a senhora considera que estamos perto disso em algum sentido técnico defensável, ou o termo está funcionando como atalho retórico para capacidades que ainda não sabemos nem definir?

Eu teria muito cuidado em transformar superinteligência em uma categoria técnica ou jurídica neste momento. A gente está vendo um avanço muito rápido dos modelos e, mais recentemente, dos agentes. Isso é observável. Superinteligência é outra discussão.

O que exatamente estamos chamando de superinteligência? Um sistema melhor que uma pessoa em determinadas tarefas? Um sistema capaz de fazer pesquisa científica sozinho? Um sistema capaz de desenvolver outro sistema mais avançado? Dependendo da definição, estamos falando de coisas muito diferentes.

Para quem está desenvolvendo sistemas de IA, por exemplo, isso tem uma consequência prática.

'Precisamos levar os riscos a sério': os 5 pontos do presidente da OpenAI sobre a corrida da IA

Se a regulação começa a ser construída em torno de conceitos que ainda não conseguimos medir bem, existe o risco de criar barreiras que as grandes empresas conseguem absorver, mas universidades, startups e centros de pesquisa não.

A gente pode tentar reduzir um risco e acabar aumentando a concentração da tecnologia.

Temos evidências de aumento de capacidade dos modelos e de comportamentos de agentes que precisam ser estudados, mas isso é diferente de afirmar que estão próximos de uma "superinteligência".

Também não acho que a resposta automática deva ser parar o desenvolvimento. A comunidade científica precisa ter condições de entender esses sistemas. E hoje existe uma assimetria importante: boa parte das capacidades mais avançadas está sendo desenvolvida dentro de poucas empresas.

Uma pausa que preserve essa assimetria pode até ter o efeito contrário ao pretendido e pode consolidar quem já está na frente e dificultar que universidades, empresas menores e outros países desenvolvam capacidade própria para pesquisar, avaliar e auditar esses sistemas.

EXAME: A tese de que mais tempo ajuda pressupõe que o tempo seria usado para resolver problemas específicos. Qual problema de alinhamento, interpretabilidade ou controle estaria resolvido hoje se a fronteira tivesse andado mais devagar nos últimos dois anos? E quais desses problemas são de natureza conceitual, em que tempo sozinho não resolve nada?

Eu não saberia dizer que um determinado problema de alinhamento estaria resolvido se tivéssemos avançado mais devagar. Alguns desses problemas não são apenas de tempo. São problemas conceituais.

Um exemplo é o conflito entre objetivos. Você dá para um agente uma tarefa muito objetiva, cujo sucesso ele consegue medir, e ao mesmo tempo diz que ele deve agir de maneira ética e segura.

Só que segurança e ética são conceitos muito mais abertos à interpretação. Um sistema mais capaz pode inclusive ficar melhor em encontrar uma interpretação que permita cumprir o objetivo principal sem, na leitura dele, violar explicitamente a regra.

Trégua dos titãs: por que Musk, Altman e Amodei pedem freio na IA

Isso é algo que a gente precisa estudar. Mais tempo pode permitir mais experimentos e melhores mecanismos de controle. Mas não existe garantia de que seis meses ou dois anos, por si só, produzam a solução.

EXAME: Boa parte da pesquisa de segurança depende de modelos de ponta para ser feita: você precisa de um sistema capaz de descobrir onde ele falha. Frear a capacidade não freia junto à própria pesquisa que deveria alcançá-la? Como se sai desse laço?

Esse é um dos dilemas. Para pesquisar segurança, a gente precisa ter acesso a sistemas suficientemente capazes de descobrir onde eles falham.

Na universidade, por exemplo, isso é ainda mais evidente. Nós já estamos alguns passos atrás da fronteira porque não temos a mesma capacidade computacional das big techs.

Se o acesso aos modelos mais avançados ficar ainda mais restrito em nome da segurança, quem vai continuar pesquisando segurança? Provavelmente as próprias empresas que desenvolvem os modelos.

A gente precisa pensar em mecanismos que permitam à academia testar sistemas avançados com condições adequadas de segurança. Caso contrário, criamos uma situação em que quem desenvolve, quem conhece os riscos e quem apresenta as evidências sobre esses riscos são essencialmente os mesmos atores.

EXAME: O que significa limitar o "ritmo da fronteira" se algumas dessas variáveis não são observáveis?

Esse é um problema central para qualquer proposta desse tipo. Computação usada no treinamento é uma variável que pode ser acompanhada de alguma forma.

Número de parâmetros também é mensurável em determinadas condições.

Mas autonomia, capacidade real de um agente ou contribuição da própria IA para desenvolver a próxima geração de modelos são muito mais difíceis de transformar em uma medida única.

Por que não dá para simplesmente "desligar a IA da tomada"

E existe outro problema: grande parte dessas informações está dentro das empresas.

Um limite só funciona se existir uma maneira independente de verificar seu cumprimento.

Se a empresa precisa declarar quanto avançou, quais testes realizou e quais resultados encontrou, nós ainda estamos dependendo da própria empresa que está sendo regulada.

EXAME: Dar acesso de funcionário a avaliadores externos é realmente uma verificação independente?

É melhor do que não ter avaliação externa, sem dúvida. Mas eu ainda perguntaria quanto de "externo" existe nesse processo.

Quem escolhe esses pesquisadores? Eles podem criar os próprios testes? Têm acesso aos dados necessários? Podem publicar um resultado que contrarie a empresa? Existem resultados que não podem ser divulgados?

Para a ciência, independência não significa apenas colocar um pesquisador externo dentro do laboratório. Significa permitir que outras pessoas consigam testar uma hipótese e confrontar um resultado. Se só um grupo autorizado pela empresa consegue observar determinado comportamento, ainda temos um problema de verificabilidade.

EXAME: A fronteira já pode estar desacelerando por limitações técnicas. Nesse caso, o compromisso de desacelerar é realmente uma decisão?

O próprio desenvolvimento encontra limites físicos e econômicos. Computação custa dinheiro, data centers consomem energia, dados de qualidade não são infinitos e aumentar a escala não significa necessariamente obter o mesmo ganho indefinidamente.

De fora das empresas, porém, é muito difícil separar quanto de uma eventual desaceleração vem de uma decisão de segurança e quanto vem dessas limitações.

"Superinteligência ainda é ficção", diz especialista brasileiro

Essa assimetria de informação aparece novamente. Nós observamos os modelos que são publicados, os artigos que são divulgados e aquilo que as empresas decidem tornar público.

Não vemos todo o processo de desenvolvimento. Então eu evitaria atribuir uma desaceleração à preocupação com segurança sem termos uma medida que permita comparar o que estava previsto com o que efetivamente mudou.

EXAME: Uma desaceleração apenas nos grandes laboratórios reduz o risco ou transfere o desenvolvimento?

Esse é um ponto importante, porque segurança não pode significar que apenas algumas grandes empresas tenham condições de continuar desenvolvendo e avaliando IA.

A gente precisa ampliar a capacidade de universidades, centros de pesquisa e empresas que estão desenvolvendo tecnologia para que também consigam avançar com seus próprios modelos e ferramentas. Isso permite testar os próprios dados e sistemas com mais transparência e, quando houver acesso, avaliar também as ferramentas desenvolvidas pelas grandes empresas.

Hoje existe uma diferença muito grande de capacidade. Quem está na universidade muitas vezes não tem infraestrutura computacional suficiente nem acesso aos modelos mais avançados para reproduzir resultados ou testar determinadas hipóteses.

Isso limita inclusive a nossa capacidade de fazer pesquisa em segurança.

Os modelos de pesos abertos têm um papel importante nesse cenário porque permitem estudar, testar e formar pesquisadores. Eles também têm riscos, que precisam ser considerados.

Anthropic acusa Alibaba, Moonshot e DeepSeek de "destilação ilícita" do Claude

Mas restringir esse desenvolvimento sem criar condições para uma pesquisa independente pode aumentar ainda mais a concentração.

Para mim, uma discussão de segurança precisa incluir essa dimensão: como criar capacidade fora das big techs para que mais atores consigam desenvolver, testar e auditar IA. Quanto mais o conhecimento e a capacidade de avaliação estiverem distribuídos, mais condições a gente tem de confrontar resultados e entender os riscos de maneira independente.

EXAME: Em 2023 houve uma carta pedindo pausa de seis meses, assinada por milhares de pessoas, e nenhum laboratório parou. Agora são os próprios CEOs fazendo o argumento. Daqui a doze meses, o que precisa ter acontecido de concreto para que isso não seja mais uma rodada de anúncio — e qual ausência específica provaria que foi só narrativa?

Acredito que precisaríamos de dados observáveis para que a academia consiga verificar.

Quais avaliações externas foram realizadas? Quem teve acesso? Quais comportamentos foram encontrados? O que mudou nos modelos a partir desses resultados? Essas evidências são passíveis de reprodução, ainda que em parte?

Eu também gostaria de observar o que aconteceu fora das grandes empresas, em especial se as universidades ganharam mais condições de pesquisar segurança e agentes avançados ou se perderam o acesso. Existem mecanismos públicos de avaliação? A pesquisa ficou melhor distribuída ou ainda mais concentrada?

Porque existe um risco que não podemos ignorar. Um discurso muito alarmista pode resultar em uma regulação tão cara e restritiva que apenas as empresas que já têm bilhões para investir conseguem continuar nessa corrida. Nesse caso, podemos terminar daqui a um ano com menos concorrência, menos pesquisa independente e a mesma dificuldade de verificar o que acontece dentro dos modelos de fronteira.

Frear o desenvolvimento da inteligência artificial reduziria os riscos?

Não necessariamente, segundo Telma Woerle. A pesquisadora afirma que uma pausa só faria sentido se o período fosse usado para criar mecanismos melhores de avaliação, segurança e auditoria.

Os modelos de IA estão próximos da superinteligência?

Não há evidências suficientes para afirmar que os modelos estão próximos da superinteligência, segundo Telma Woerle. A pesquisadora diz que o conceito ainda não possui definição ou métricas claras, embora existam avanços observáveis nas capacidades de modelos e agentes.

Por que universidades precisam acessar modelos avançados de IA?

Universidades precisam acessar sistemas avançados para descobrir falhas e pesquisar segurança, afirma Telma Woerle. Sem esse acesso, as próprias empresas que desenvolvem os modelos também concentram o conhecimento sobre os riscos e as evidências usadas para avaliá-los.

Como verificar de forma independente uma desaceleração da IA?

Uma desaceleração só pode ser verificada de forma independente com acesso a dados, testes e resultados reproduzíveis, segundo Telma Woerle. A pesquisadora afirma que depender apenas das informações declaradas pelas empresas mantém a assimetria entre os laboratórios e os avaliadores externos.

Qual é o papel dos modelos de pesos abertos na pesquisa de IA?

Os modelos de pesos abertos permitem estudar e testar sistemas de IA, além de formar pesquisadores, afirma Telma Woerle. A pesquisadora reconhece que esses modelos também apresentam riscos, mas diz que restringi-los sem fortalecer a pesquisa independente pode aumentar a concentração tecnológica.

O que mostraria que uma desaceleração da IA produziu resultados concretos?

Resultados concretos exigiriam avaliações externas, acesso de pesquisadores, divulgação dos comportamentos encontrados e mudanças verificáveis nos modelos, segundo Telma Woerle. A pesquisadora também considera necessário observar se universidades ganharam condições para estudar segurança e agentes avançados.