NVIDIA открыла Nemotron 3.5 Transcribe: одна модель расшифровывает запись и различает собеседников

Расшифровка встречи полезна только тогда, когда понятно не только что сказано, но и кем. NVIDIA представила Nemotron 3.5 Transcribe — модель с открытыми весами, объединяющую распознавание записанной речи, разметку говорящих, перевод и ответы по аудио. Выпуск опубликован 28 октября.

Обложка — тематическая ИИ-иллюстрация BrookStone. Ниже — реальные графики из технической публикации NVIDIA.

Одна запись — разные задания

Модель можно попросить расшифровать разговор с обозначением участников, перевести речь на английский или выделить принятые решения. Задание задаётся обычным языком; в подсказке можно указать специальную лексику, которую нужно правильно записывать.

Поддержка различается по задачам: распознавание охватывает 40 языков, перевод — 31, а атрибуция говорящих — 13. Заявлены записи длительностью до часа и разметка до восьми собеседников. Нельзя автоматически переносить список языков распознавания на перевод и остальные возможности.

Локальная обработка — с учётом ресурсов

Открытые веса дают разработчикам выбор места обработки: собственный сервер, облако или совместимое локальное оборудование. При этом облегчённые квантованные версии и часть средств локального запуска ещё готовятся. Доступность весов не означает, что модель комфортно заработает на любом ноутбуке.

Transcribe рассчитана на записанное аудио, а не на живой поток. Перед внедрением проверьте свой язык, качество микрофона, перекрывающиеся голоса и требования к памяти — они важнее одного места в рейтинге.

Что проверять в готовом протоколе

Имена, суммы, сроки и приписанные людям решения стоит сверять с оригиналом. Удобный процесс — сначала получить расшифровку, затем краткое резюме и ссылки на моменты записи. Так результат можно проверить, а не принимать уверенный ответ модели на веру.

Источник: техническая публикация команды NVIDIA на Hugging Face о Nemotron 3.5 Transcribe и Granary v2.