Anthropic alerta em documento de IPO que IA pode trazer risco existencial à humanidade

Nova York e San Francisco | Reuters A Anthropic planeja alertar potenciais investidores em seu IPO (oferta pública inicial de ações) de que a inteligência artificial avançada pode representar "riscos catastróficos ou existenciais para a humanidade", uma advertência extraordinária feita por uma empresa que busca lucrar com essa mesma tecnologia.

O prospecto do IPO da empresa, analisado pela Reuters, destaca riscos associados a seus modelos de IA, que, segundo o documento, poderiam apresentar "comportamentos de autopreservação", incluindo tentativas de "resistir ao desligamento", "ocultar ou manipular informações" e adotar comportamentos "semelhantes à chantagem".

"O desenvolvimento, por parte da empresa, de modelos, plataformas e aplicações altamente avançados, bem como a ampliação dos casos de uso, pode aumentar ainda mais o risco de que nossos modelos causem danos", afirmou a Anthropic no documento.

Embora empresas de capital aberto descrevam rotineiramente aos investidores os riscos de seus produtos, poucas —se é que alguma— emitiram alertas sugerindo que sua tecnologia poderia levar à extinção da humanidade.

Publicidade

A Anthropic ressaltou tanto o potencial transformador da IA, comparável ao da industrialização e da eletricidade, quanto os danos irreversíveis que ela poderia causar se fosse mal utilizada.

A Anthropic e outras desenvolvedoras de IA, entre elas a OpenAI, têm sido alvo de escrutínio após episódios em que sistemas experimentais desrespeitaram restrições, incluindo o relato de que um modelo da OpenAI invadiu o banco de dados do sistema de saúde da Austrália.

Publicidade

Evan Hubinger, pesquisador de segurança da Anthropic, estimou em mais de 10% a probabilidade de que a IA possa matar seres humanos na próxima década, ecoando uma avaliação de seu ex-colega Jacob Coxon.

A empresa, que se apresenta como um laboratório de IA que prioriza a segurança, dedicou cerca de 80 das 261 páginas de seu prospecto à exposição dos fatores de risco —quase o dobro das 48 páginas usadas para descrever seus negócios.

Para efeito de comparação, a SpaceX, proprietária da xAI, dedicou apenas cerca de 38 das 277 páginas de seu prospecto aos fatores de risco.

A empresa também afirmou que, às vezes, os modelos desenvolvem durante o treinamento capacidades inesperadas que podem não ser descobertas até sua implantação e que já resultaram em graves incidentes de segurança.

Pesquisadores de IA também alertaram que, à medida que os modelos se tornam mais capazes, eles reconhecem cada vez mais quando estão sendo observados e ajustam seu comportamento de acordo com isso, o que dificulta o monitoramento.

Publicidade

A Anthropic não quis comentar o assunto.

C-Level

Uma newsletter com informações exclusivas para quem precisa tomar decisões

RETORNOS INCERTOS DOS INVESTIMENTOS EM SEGURANÇA

Apesar de enfatizar a questão da segurança, a Anthropic afirmou que os retornos de seus investimentos nessa área são incertos.

A empresa não informou no documento quanto estava gastando nessas pesquisas. No início deste mês, a Anthropic disse que cerca de 6% da capacidade computacional usada em pesquisas de IA foi destinada a trabalhos de segurança durante uma semana de referência em julho.

Dona do Claude, a empresa descreveu as iniciativas de segurança como "intensivas em recursos" e afirmou que precisa dividir seus recursos limitados entre capacidade computacional, profissionais de IA altamente remunerados e segurança.

A Anthropic afirmou que o uso por parte dos clientes —e, consequentemente, a receita— é impulsionado por novos modelos e que um "ritmo contínuo e sobreposto" de lançamentos é "inerente à permanência na vanguarda do desenvolvimento de IA".

Carregando...

Na semana passada, a empresa lançou uma nova versão de seu modelo Opus, dez dias após o CEO Dario Amodei publicar um ensaio de quase 4.000 palavras defendendo a desaceleração dos avanços na fronteira tecnológica.

Publicidade

Alguns analistas e especialistas afirmam que nenhum laboratório de IA de ponta reduziria o ritmo se isso representasse o risco de dar vantagem aos concorrentes em um setor no qual as avaliações de mercado podem mudar a cada lançamento.

Nas últimas semanas, a Anthropic se comprometeu a divulgar publicamente mais dados sobre como utiliza modelos de IA para desenvolver futuras gerações da tecnologia, em meio a alertas de especialistas sobre o autoaperfeiçoamento recursivo —o ponto em que os modelos conseguem evoluir por conta própria, sem ajuda humana.

"Acreditamos que desenvolver sistemas de IA dignos de confiança e seguros é uma responsabilidade coletiva e que o mercado recompensará esse esforço", afirmou a Anthropic no documento.