Компания Google представила две системы в рамках восьмого поколения фирменных TPU-ускорителей: TPU 8tx и TPU 8i Max. Модель TPU 8tx оптимизирована для создания безопасного конфиденциального инференса и задач небольшого масштаба, обеспечивая аппаратную защиту конфиденциальных данных и весов моделей прямо на уровне TPU-чипа в сочетании с процессорами AMD EPYC. Данная архитектура позволяет организациям одновременно обучать и настраивать модели на единой инфраструктуре без необходимости переноса защищенной информации между изолированными кластерами.
Второй представленный комплекс, TPU 8i Max, создан для решения проблемы ограничений пропускной способности памяти при обработке многочасовых видеоматериалов или масштабных кодовых баз. Разработчики объединили два чипа TPU 8i на общей плате, что позволило вдвое увеличить вычислительную мощность, объем статической памяти SRAM и пропускную способность HBM. За счет этого стойки дата-центров способны вмещать значительно больше вычислительных ресурсов на квадратный метр площади.
Анонс дополнен программными инструментами, включая открытый стек TorchTPU с поддержкой фреймворка PyTorch и движков vLLM, а также слой управления модельными состояниями TPU Sync. Подобный комплекс аппаратных и программных решений призван упростить развертывание распределенных нагрузок на базе Kubernetes и повысить эффективность работы автономных агентных систем.
