Gemini invadiu o sistema de três empresas em maio

O chatbot de inteligência artificial (IA) da Google, Gemini, invadiu os sistemas de dados de três empresas, enquanto executava um conjunto de testes visando testar as suas capacidades de cibersegurança. Foi o primeiro registo de um ataque autónomo concretizado pela ferramenta inteligente da Google, e que o próprio Gemini terá interrompido, quando percebeu que as empresas em causa eram verdadeiras e não apenas simulações criadas para os fins do exercício. A tecnológica referiu que as intrusões resultaram de um caso de confusão de identidade que afetou a atividade do chatbot.

Contactada pelo Wall Street Journal, a equipa da Google confirmou que as invasões se registaram no passado mês de maio depois de o chatbot aceder à internet, enquanto executava um teste efetuado pela empresa Irregular — que esteve envolvida noutras intrusões já noticiadas, com os modelos da OpenAI, da Anthropic e da Meta.

Entre ataques, vírus e armas químicas, como poderia a IA tornar-se numa ameaça aos humanos?

O episódio aconteceu em moldes idênticos àqueles que promoveram a invasão no sistema de dados da empresa Hugging Face pelo chatbot Claude, noticiada em julho. Como o modelo concorrente da Anthropic, também o Gemini estava a ser testado num ambiente digital fechado e sem acesso à internet, e executava um exercício intitulado “capture the flag” — cujo objetivo é encontrar informação oculta em empresas ficcionais que existem no ambiente de testes e que partilham o nome com empresas verdadeiras.

De acordo com a Irregular, o modelo conseguiu aceder à internet, através da qual adivinhou uma palavra-passe necessária para aceder ao sistema de dados de uma empresa real. Quando o Gemini percebeu que tinha utilizado informação que não era fictícia, interrompeu a sua atividade e abandonou o sistema que tinha sido alvo de invasão.

Além deste primeiro ataque, o modelo também beneficiou do acesso à internet para pesquisar os nomes de empresas e aceder a repositórios contendo dados e credenciais verdadeiros. Essas credenciais foram utilizadas pelo chatbot para aceder a sistemas protegidos e retirar dados que lhe permitiram completar os exercícios da sessão de testes. Após submeter as credenciais, o Gemini percebeu que tinham origem em empresas verdadeiras e, de novo, abandonou os repositórios invadidos.

A Google não divulgou publicamente as ocorrências de maio, uma vez que não causaram qualquer tipo de dano às empresas visadas, tendo as intrusões terminado precocemente por autorrecreação do modelo inteligente. O comportamento do Gemini não foi interpretado pela gigante tecnológica como um desalinhamento, já que as medidas de segurança programadas no chatbot interromperam um ataque que podia ter atingido proporções mais graves.

“Este evento destaca a importância de treinar modelos poderosos de IA para agirem de forma responsável”, retorquiu a vice-presidente de Engenharia de Segurança da tecnológica, citada pelo Wall Street Journal. “Neste caso, o modelo comportou-se de forma apropriada.” A Google não divulgou o nome das empresas cujos sistemas de dados foram ameaçados, mas notificou as mesmas da invasão, assim como as autoridades federais dos EUA.

Também não se conhece o modelo do Gemini envolvido no episódio que ameaçou a cibersegurança das empresas, mas a Google confirmou que não se trata do modelo mais recente.

A sucessão de falhas de segurança protagonizadas pelo desalinhamento de modelos de IA tem motivado declarações com origem nas empresas que desenvolvem esta tecnologia — algumas emitidas voluntariamente, outras motivadas por investigações externas ou efetuadas pelos media, como aconteceu na circunstância que é agora noticiada.