Como cientistas contiveram uma amea?a que poderia ter destru?do a humanidade

Já estivemos aqui antes. Cientistas alertam que uma tecnologia promissora pode exterminar a humanidade. Seus criadores soam o alarme; outros advertem que desacelerar implica o risco de perder a corrida pela inovação.

Isso aconteceu há 51 anos, quando 150 pessoas se reuniram na capela de Asilomar, um centro de conferências rústico na Península de Monterey, na Califórnia, para tratar dos perigos do DNA recombinante, uma descoberta de poucos anos antes.

Pela primeira vez, cientistas podiam combinar fragmentos de DNA de diferentes organismos, criando novos híbridos que poderiam curar doenças, mas também desencadear outras, novas e virulentas.

Naquele caso, os cientistas de fato fizeram uma pausa e se uniram para estabelecer regras próprias sobre como poderiam prosseguir com segurança. O grupo incluía os principais biólogos do país, mas também advogados. As normas que criaram não sufocaram a inovação. Ao contrário, deram origem à indústria da biotecnologia tal como a conhecemos.

Asilomar, como o encontro ficou conhecido, adquiriu um caráter tão mítico na relação entre ciência e sociedade que, em 2017, importantes cientistas da inteligência artificial se reuniram no mesmo local para tentar estabelecer salvaguardas para o desenvolvimento de seus novos modelos.

Aquela reunião resultou em compromissos vagos, mas agora os líderes da IA voltam a soar o alarme, diante do risco de responsabilização jurídica e dos temores do público, e novamente pedem regulamentação. E as controvérsias de 50 anos atrás —não apenas a de Asilomar, mas também as que vieram depois— ainda oferecem lições.

"Há muitos ecos", disse Luis Campos, historiador da ciência da Universidade Rice que organizou recentemente, em Cambridge, Massachusetts, um simpósio pelos 50 anos da controvérsia do DNA recombinante, no qual os participantes traçaram paralelos com a inteligência artificial. "É quase como se estivessem sendo usadas exatamente as mesmas palavras ou expressões."

Na década de 1970, a nova tecnologia de DNA trazia a promessa de criar novos medicamentos e produzir os já existentes, como insulina e antibióticos, de forma mais rápida e barata.

Mas ela também permitia que genes fossem manipulados de maneiras que os cientistas não conseguiam compreender e talvez não pudessem controlar. O primeiro DNA recombinante incluía material genético de um vírus conhecido por causar câncer; outro havia sido programado para resistir a antibióticos. O risco de contágio, alertou horrorizado um cientista, colocava a humanidade à beira de uma nova Hiroshima.

Em duas cartas urgentes, de 1973 e 1974, os cientistas primeiro pediram "prudência" —a mesma palavra usada neste mês por Dario Amodei, da Anthropic, em seu apelo de 3.800 palavras pela regulamentação da IA. Depois, pediram uma moratória sobre todo trabalho com DNA recombinante até que ele pudesse ser realizado com segurança.

Os trabalhos foram interrompidos até que os cientistas se reunissem em Asilomar com o objetivo de formular normas que permitissem encerrar a moratória. Os organizadores alertaram o grupo, que incluía cientistas de outros países, entre eles a União Soviética, de que, se não conseguissem se autorregular, o Congresso faria isso por eles. Queriam evitar uma lei "a todo custo", recordou mais tarde um cientista, porque os legisladores poderiam errar e seria mais difícil alterá-la.

Durante quatro dias acalorados, eles debateram os possíveis riscos do trabalho. Na última noite, os advogados presentes direcionaram a discussão para possíveis cenários em tribunais. Isso levou os cientistas a propor normas específicas de contenção física, graduadas de P1 a P4, conforme o risco percebido.

Essas novas regras, posteriormente aprovadas e aplicadas pelos Institutos Nacionais de Saúde, incluíam salas com pressão negativa e trajes de proteção pressurizados nos laboratórios que realizavam os trabalhos de maior risco. Micróbios tinham de ser programados para morrer fora das condições de laboratório, e os cientistas proibiram a criação de toxinas letais ou bactérias resistentes a antibióticos.

Alguns cientistas em Asilomar advertiram que as novas normas apenas provocariam alarme entre o público. E foi o que aconteceu.

Autoridades locais alertaram para uma versão real de "O Enigma de Andrômeda", filme que havia chegado recentemente aos cinemas de todo o país e no qual um micróbio mutante e incontrolável aniquilava uma cidade inteira.

A controvérsia mais pitoresca e relevante ocorreu em Cambridge, quando a Universidade Harvard solicitou autorização para reformar um laboratório e realizar pesquisas de nível P3. O prefeito da cidade, Alfred Vellucci, havia abandonado a escola no sexto ano e travava uma antiga disputa contra a universidade. (Certa vez, aprovou uma lei municipal que, por pouco tempo, rebatizou a Harvard Square em homenagem a Cristóvão Colombo.)

Vellucci ameaçou proibir em toda a cidade os experimentos com DNA recombinante e convocou cientistas renomados a depor perante a Câmara Municipal, exigindo saber se eles estavam despejando agentes infecciosos letais nos esgotos e por que o trabalho não poderia ficar restrito ao deserto, como o Projeto Manhattan.

Ele instruiu os cientistas a explicar os riscos do DNA recombinante em uma linguagem simples, que o público pudesse entender: "Não entendemos o alfabeto de vocês."

As audiências resultaram em uma moratória de três meses e na criação de um novo conselho de nove cidadãos para decidir se a cidade deveria permitir o trabalho. O grupo, que incluía uma freira e uma enfermeira, visitou laboratórios do MIT (Instituto de Tecnologia de Massachusetts) para conhecer os padrões de segurança adotados depois de Asilomar e realizou um julgamento público simulado sobre o DNA, com biólogos dos dois lados atuando como testemunhas. Cientistas montaram estandes em feiras de rua para explicar seu trabalho ao público.

O resultado foi a primeira norma municipal de biossegurança do país, muito semelhante às diretrizes de Asilomar, com a diferença de que proibia os trabalhos laboratoriais mais arriscados e havia contado com a participação do público.

Agora, a confiança do público nas empresas de IA despencou, em meio a temores de que seus modelos possam eliminar empregos ou de que chatbots possam levar usuários a se automutilar. Alguns especialistas alertam que um modelo em constante autoaperfeiçoamento poderia desencadear um ataque cibernético ou uma guerra biológica. A revolta com os centros de dados que sobrecarregam o abastecimento de água e eletricidade levou a proibições municipais e fez políticos perderem seus cargos.

Uma grande diferença entre aquela época e hoje é que ainda não havia se formado uma indústria em torno da nova tecnologia. Não existiam empresas de biotecnologia antes de Asilomar. Os cientistas que trabalhavam com DNA recombinante atuavam em laboratórios acadêmicos e sabiam que dependiam de financiamento federal.

"Ninguém argumentava, na década de 1980, que a economia americana se mantinha à tona graças à construção de laboratórios", disse Robin Scheffler, historiador da ciência biomédica do Instituto de Tecnologia de Massachusetts cuja pesquisa documentou a controvérsia de Cambridge.

Ainda assim, a indústria da biotecnologia começou a florescer quase imediatamente depois de Asilomar e, em seguida, disparou, transformando Cambridge no polo biotecnológico do país porque as novas normas, na verdade, proporcionaram estabilidade e previsibilidade. (Em 1982, durante a inauguração de uma instalação da Biogen, Vellucci declarou que não temia o DNA recombinante, desde que ele pagasse impostos.)

A biotecnologia ainda detém uma participação de mercado maior do que a indústria de IA. Isso pode tranquilizar os que se opõem a uma desaceleração, como o presidente Donald Trump e alguns líderes da IA.

E, enquanto os advogados em Asilomar apenas imaginavam a ameaça de responsabilização jurídica, para as empresas de IA essa ameaça é bastante real, como mostrou o acordo de US$ 18 bilhões firmado pela Meta com estados que a acusaram de conhecer os riscos de suas plataformas de mídia social e ocultá-los.

Céticos dizem que é por isso que a indústria de IA, de repente, voltou a fazer alertas e buscar regulamentação.

Quando saíram de seu próprio encontro em Asilomar, em 2017, líderes da IA, entre eles Elon Musk e Amodei, defenderam de forma genérica o uso "benéfico" da tecnologia, mas não propuseram normas específicas. Isso foi antes do lançamento do ChatGPT.

"Quando perceberam quanto dinheiro estava em jogo, foi meio que: ‘Esqueçam o que dissemos’", afirmou Sherry Turkle, socióloga do Instituto de Tecnologia de Massachusetts que escreveu extensamente sobre as implicações sociais das novas tecnologias, inclusive em um novo livro, "Artificial Intimacy".

Seis anos depois, muitos dos mesmos signatários aderiram a duas cartas —e, assim como ocorreu com os biólogos da década de 1970, o tom se tornou cada vez mais urgente.

Em março de 2023, Musk novamente e Steve Wozniak, da Apple, entre outros, pediram uma pausa de seis meses para estudar os riscos de qualquer tecnologia mais poderosa do que o GPT-4. Em maio daquele ano, os líderes da OpenAI, da DeepMind, do Google, e Amodei alertaram que a IA representava uma ameaça existencial e que era preciso se preparar para ela da mesma forma que as nações se preparam contra pandemias ou uma guerra nuclear.

O governo não tomou medidas para conter seriamente a IA. As empresas continuaram avançando. A Anthropic lançou o Claude ao público em julho daquele ano.

"Há pouca boa vontade para acreditar que algo além de um medo profundo da responsabilização jurídica os leve a voltar até nós e dizer: ‘Agora é realmente perigoso’", disse Turkle.

Assim como ocorreu com o DNA recombinante, uma questão central é como conter os riscos. Mas, com a IA, é menos claro como fazer isso ou quem aplicaria as novas regras. A IA não pode ser contida por trajes de proteção e salas seladas.

"Também é preciso haver mecanismos de responsabilização", disse Campos. "Quem responde quando algo dá errado? Quem são as outras pessoas que têm o direito de acessar informações para ver o que aconteceu e o que deu errado?"

"O que fez diferença em Asilomar foram os advogados que disseram: vocês precisam pensar nessas consequências mais amplas e não são os únicos que devem tomar essa decisão", afirmou. "Não se trata apenas de ir a um lugar bonito no litoral da Califórnia e deixar que os especialistas decidam."