Когда нужен выбор, а не разговор
Google представила Gemini Decisions API на основе Gemini Decision 1. Вместо свободного текстового ответа сервис оценивает заранее заданные варианты: например, какому обработчику направить запрос, соответствует ли документ правилу или насколько ответ подходит под критерии.
В одном запросе можно использовать текст, изображения, аудио, видео и PDF, а также до тысячи независимых вопросов. Общий входной материал анализируется совместно, поэтому его не нужно отправлять заново для каждого небольшого решения.
Устройство Gemini Decisions API. Официальная схема Google.
Что означают скорость и стоимость
Google заявляет сквозную задержку 150–250 миллисекунд в описанных условиях и цену 0,10 доллара за миллион входных токенов без оплаты выходных. Это тариф API, а не обещание итоговой стоимости любого приложения: количество данных и структура вопросов всё равно имеют значение.
Модель возвращает вероятности и оценки уверенности. Они полезны для маршрутизации, но не являются гарантией правильности: уверенный ответ тоже может оказаться ошибочным, особенно на данных, которые отличаются от тестовых примеров.
Результаты испытаний производителя; не независимое сравнение. Google DeepMind.
Какой сценарий имеет смысл проверить
Начать можно с небольшой задачи, где есть заранее размеченные примеры и понятная цена ошибки. Например, распределять обращения по нескольким категориям и отправлять неоднозначные случаи человеку.
Нужно измерять не только среднюю скорость, но и долю ошибочных решений, поведение на необычных файлах и качество выбранного порога уверенности. Важное действие — платёж, удаление или изменение доступа — не должно происходить только потому, что классификатор присвоил варианту высокий балл.
По материалам Min Choi, Felix Yu / Google DeepMind.
