CEO da Microsoft defende “freio de emergência” para IA

O CEO e presidente do conselho da Microsoft, Satya Nadella, publicou no sábado (10) um artigo defendendo a criação de um "freio de emergência" para a inteligência artificial e que as empresas precisam de mecanismos de segurança mais robustos para a tecnologia. O texto foi publicado na conta do X (antigo Twitter) do executivo.

As declaração vêm após líderes de desenvolvedoras como OpenAI e Anthropic terem se manifestado em prol de uma desaceleração no desenvolvimento da IA.

Segundo Nadella, que comanda a Microsoft desde 2014, à medida que sistemas avançados são implementados em larga escala, as ações da tecnologia não correspondem ao que elas foram treinadas para fazer.

Leia Mais

Ele ainda escreveu que, mesmo nesse cenário, as pessoas seguem adotando modelos complexos e autônomos, inclusive dando acesso a dados confidenciais e permitindo que esses modelos realizem ações em nosso nome.

Nadella defendeu que "é hora de dar uma passo atrás" e reavaliar como a tecnologia opera.

"Simplesmente não podemos terceirizar a responsabilidade pelo que a inteligência faz em nosso nome. As garantias de um fornecedor de modelos não nos isentam dessa responsabilidade".

Entre as propostas para assegurar a segurança, o executivo propôs um "freio de emergência". Nesse caso, uma pessoa pode ser capaz de intervir e pausar ou desligar o que o modelo está fazendo.

CEO da Microsoft pediu mais segurança

No artigo, Nadella escreveu que não podemos tratar a inteligência artificial como uma "caixa preta", simplesmente aceitando os resultados entregues, sem conseguir observar como os modelos chegaram a tal resultado.

Para isso, ele pede medidas de segurança mais robustas para monitorar a IA, incluindo tratar modelos como "riscos internos".

"Não porque eles sejam necessariamente maliciosos, mas porque qualquer agente suficientemente capaz, com acesso a sistemas importantes, pode cometer erros ou ser comprometido".

O CEO defende que as empresas não devem depender apenas das garantias dadas pelos desenvolvedoras de IA, e precisam ter uma separação entre o modelo e a estrutura responsável pela execução dele.

Ele também argumenta que as IAs não devem ficar sob responsabilidade delas próprias. Nesse caso, as organizações precisam de autonomia para definir quais dados podem ser acessados e o que podem fazer com eles, sem que as IAs consigam alterar ou contornar essas regras.

Propostas para proteção da IA

Além do "freio de emergência", Nadella listou outras ações que ele acredita que devem reger a tecnologia.

Ele pediu a diversidade de modelos e a verificabilidade, de forma que todos os sistemas sejam testados continuamente em busca de falhas e erros — não apenas em busca de tarefas bem-sucedidas.

"Nenhum modelo deve se tornar a única fonte de confiança para um resultado importante nem ser responsável por verificar seu próprio trabalho", escreveu.

O CEO também defendeu que toda ação significativa por parte das IAs deve deixar evidências que possam ser verificadas por humanos. "Se não puder ser observada, não é confiável!"

Ele ainda destacou a necessidade de verificações independentes e que todos os incidentes sejam divulgados, incluindo para notificar as pessoas e organizações afetadas.

Desaceleração da IA

O artigo publicado por Satya Nadella vem após outros executivos do setor de tecnologia terem se manifestado em prol de uma desaceleração no ritmo de desenvolvimento da IA.

O CEO da Anthropic, Dario Amodei, publicou um ensaio em meados de setembro defendendo essa ideia, com um alerta de que, nesse ritmo, poderíamos perder o controle da IA.

Líderes de empresas rivais, como Sam Altman, da OpenAI, e Elon Musk, da xAI, defenderam a ideia.

Outros discordaram. Mark Zuckerberg, CEO da Meta, e Jensen Huang, CEO da Nvidia, acreditam que as medidas de segurança da inteligência artificial devem ser desenvolvidas pelas próprias empresas responsáveis.

Ambos estão alinhados com o presidente dos Estados Unidos, Donald Trump, que defende que o país se mantenha na vanguarda da IA, sem freio, para fazer frente à China.

Trump também renomeou o termo "inteligência artificial" para "Superinteligência", dizendo que o primeiro representava uma ideia "falsa" do que é a tecnologia.

Os documentos do governo dos EUA já usam "Superinteligência", mas as desenvolvedoras do setor ainda não concordaram se vão aderir. Altman, por exemplo, não endossou a ideia.