Google amplia linha de chips para agentes de IA com mais memória e sigilo

O Google anunciou nesta segunda-feira, 9, duas versões de seus sistemas de chips para inteligência artificial. Uma foi projetada para rodar agentes que precisam analisar grandes volumes de informação, como horas de vídeo ou o código de um software inteiro.

A outra tem como alvo empresas e órgãos públicos que querem usar IA com dados sensíveis, como registros financeiros, sem expô-los durante o processamento.

Os sistemas TPU 8i Max e TPU 8tx se somam ao TPU 8t, voltado ao treinamento de grandes modelos, e ao TPU 8i, projetado para reduzir o tempo de resposta de modelos já treinados. As duas versões reaproveitam chips apresentados em abril. O Google mudou a forma de combiná-los com a memória, a rede e os recursos de segurança para atender a tarefas diferentes.

Por que agentes de IA pressionam a memória dos chips?

Um agente encarregado de corrigir um erro de software pode consultar arquivos, executar testes e voltar ao código com os resultados. Cada etapa acrescenta informação à janela de contexto, o conjunto de dados que o modelo consegue considerar enquanto trabalha. Se vários agentes fazem isso ao mesmo tempo, os processadores podem passar parte do tempo esperando pelos dados de que precisam para continuar.

Para reduzir essa espera, o Google reuniu dois chips TPU 8i em um único encapsulamento. Segundo a empresa, o 8i Max tem o dobro da capacidade de cálculo e da memória interna SRAM do 8i, além de dobrar a largura de banda da memória HBM.

Isso significa que o sistema pode transferir o dobro de dados por segundo entre a HBM e o processador. A configuração também permite acomodar o dobro de chips no mesmo espaço de um rack, segundo o Google.

Como o 8tx protege dados enquanto a IA trabalha?

A criptografia costuma proteger os dados enquanto eles estão armazenados ou trafegam pela rede. Durante o processamento, o sistema precisa acessar essas informações na memória. É nessa etapa que o TPU 8tx atua. Ele combina o chip do TPU 8t com processadores AMD EPYC de quinta geração para isolar, no próprio hardware, tanto os dados usados na tarefa quanto os pesos do modelo, os parâmetros que determinam seu funcionamento.

O Google diz que o mesmo sistema pode executar um modelo e ajustá-lo com dados privados, sem transferir as informações entre grupos separados de servidores. A empresa também afirma que a rede interna pode reduzir pela metade a latência em relação ao TPU 8t. Para um agente que chama o modelo várias vezes ao longo de uma tarefa, o tempo de espera de cada etapa se acumula.

O Google quer levar seus chips para além da própria nuvem

As unidades de processamento tensorial, ou TPUs, nasceram para tarefas internas, como reconhecimento de voz e tradução. Hoje, o Google usa os chips para treinar e rodar o Gemini, oferece acesso a eles na sua nuvem e permite que clientes os instalem em seus próprios centros de dados. A empresa afirma que o negócio de TPUs tem hoje quase 100 clientes.

Ampliar esse mercado também exige que o software das empresas funcione nos chips. Em outubro, o Google abriu o código do TorchTPU, desenvolvido com a equipe do PyTorch da Meta. A ferramenta reduz o trabalho de adaptação para quem já usa essa biblioteca para desenvolver modelos. O grupo também anunciou um acordo para oferecer TPUs na nuvem da Oracle.

A Anthropic, dona do Claude, ilustra como grandes clientes distribuem essa demanda. A empresa usa TPUs do Google, chips Trainium da Amazon e GPUs da Nvidia. Em abril, anunciou com Google e Broadcom um acordo para ampliar sua capacidade de computação com TPUs de nova geração a partir de 2027. No anúncio desta segunda-feira, o Google não informou preços nem datas de disponibilidade para o 8tx e o 8i Max.