Google открыла TorchTPU: у разработчиков ИИ стало больше выбора вычислителей

20 октября на PyTorch Conference Google объявила об открытии исходного кода TorchTPU. Это нативный стек для запуска PyTorch на ускорителях TPU: разработчикам предлагают сохранить привычные интерфейсы и переносить существующие задачи с минимальными изменениями кода.

Почему это заметно для рынка

Конкуренция ускорителей зависит не только от мощности чипа, но и от программной экосистемы. Когда модель тесно связана с определённым оборудованием, смена платформы требует времени. TorchTPU, созданный совместно с командой PyTorch в Meta, должен снизить этот барьер. Это расширение выбора, а не доказательство, что альтернативная платформа быстрее во всех задачах.

От обучения до ответов модели

Google сообщает об интеграциях с Hugging Face, vLLM, SGLang, Ray и TorchTitan. Предусмотрены знакомый режим отладки eager mode и оптимизация через torch.compile. Отдельно анонсированы инструменты для распределённого обслуживания моделей и переноса их на пользовательские устройства через LiteRT.

Что оценить на практике

Переносимость кода не отменяет проверки поддерживаемых операций, точности, памяти, задержек и стоимости. Командам с работающими моделями разумно сначала сравнить небольшой типичный сценарий на обеих платформах. Стоимость миграции и эксплуатации может оказаться важнее красивого показателя отдельного теста. TPU agent suite пока обозначен как предварительная версия, что тоже стоит учитывать при планировании.

По материалам: Mark Lohmeyer и Bill Jia, Google Cloud. Самостоятельный пересказ BrookStone.