llm-d 1.0: ИИ-кластер научился распределять запросы с учётом памяти разговора

Google и участники проекта llm-d представили версию 1.0 открытого стека для распределённого выполнения ИИ-моделей. Его задача — координировать несколько серверов как общий вычислительный пул, учитывая нагрузку, приоритет запросов и уже сохранённый контекст. Это инфраструктурная новость для команд, которые запускают собственные модели.

Почему обычной очереди недостаточно

В многошаговой работе агент многократно возвращается к похожему контексту. Если каждый запрос отправлять на случайный сервер, часть вычислений приходится повторять. llm-d старается направить его туда, где соответствующая часть KV-кеша уже находится, а при нехватке быстрой памяти задействовать дополнительные уровни хранения.

Интерактивные пользователи и фоновые агенты

В версии 1.0 предусмотрены управление приоритетами, разделение стадий обработки и обновление компонентов без потери активного контекста. Это позволяет ограничивать всплески фоновых заданий, чтобы они не вытесняли интерактивные запросы. Стек опирается на Kubernetes и допускает использование разных движков и ускорителей.

Что проверять перед внедрением

Заявленные ускорения относятся к конкретным тестам Google, а не к любому кластеру. Для своей нагрузки нужно измерить время до первого токена, задержку полного ответа, попадания в кеш и стоимость обработки. llm-d улучшает организацию вычислений; он сам по себе не делает ответы модели точнее.

По материалам Mark Lohmeyer и Sean Horgan, Google Cloud, 20 октября 2026 года.

Обложка создана с помощью ИИ и служит иллюстрацией темы. Реальные материалы внутри статьи взяты из указанных официальных источников.