Google представила TPU 8i Max и 8tx — системы для ИИ-агентов и конфиденциальных вычислений

Google расширила линейку TPU восьмого поколения до четырёх систем. Новинки рассчитаны на разные задачи: TPU 8i Max — на работу с большими контекстами и сложными ИИ-агентами, а TPU 8tx — на защищённые вычисления с чувствительными данными.

TPU 8i Max построена на двух объединённых TPU 8i. По сравнению с базовой системой она предлагает вдвое больше вычислительной мощности, SRAM и пропускной способности HBM. Это должно помочь при обработке больших контекстов и работе нескольких агентов с крупными проектами.

TPU 8tx предназначена для конфиденциальных вычислений. Система сочетает TPU 8t с процессорами AMD EPYC пятого поколения и аппаратной защитой данных и весов моделей даже во время обработки. Она ориентирована на государственные организации и компании с повышенными требованиями к безопасности. Google также заявляет о снижении задержки до двух раз относительно TPU 8t.

Обновления программной инфраструктуры

Вместе с новыми системами Google представила несколько инструментов для работы с ускорителями. Agent Compute Engine приостанавливает простаивающие сессии ИИ-агентов и переносит их рабочую память с ускорителей. Это позволяет не занимать вычислительные ресурсы, пока агент ждёт ответа от инструмента или пользователя.

TPU Sync управляет иерархией памяти и переносом KV-кэша между ускорителями, оперативной памятью и хранилищем. По данным Google, технология сокращает задержку передачи KV-кэша и время до первого токена более чем на 90%.

XLA Serving Engine — открытый C++-движок для обслуживания моделей на TPU, GPU и CPU.

Обновили и GKE Dynamic Slicing. Теперь система динамически формирует и перераспределяет группы TPU для вычислительных задач. Google заявляет об ускорении запуска заданий до 5 раз и восстановления после сбоев — до 4,5 раза.

Gemini помогает проектировать чипы

Google также рассказала, что использует собственные ИИ-инструменты для разработки следующего поколения аппаратного обеспечения. С помощью Gemini компания создаёт chip layouts (схемы размещения компонентов чипов) за часы вместо недель. Для этого задействуют вычислительные мощности TPU и сервисы на базе Gemini. Кроме того, Google применяет AlphaChip — систему на основе обучения с подкреплением для проектирования микросхем.