Nvidia 28 октября представила Nemotron 3.5 Transcribe — модель ИИ для расшифровки аудио на 40 языках. Она также поддерживает перевод между английским и 31 другим языком и разделяет реплики разных говорящих на 13 языках. Как сообщает PC Watch, модель может обрабатывать аудиозаписи длительностью до одного часа.
Базовая версия уже опубликована на Hugging Face. Nvidia открыла веса модели — параметры, необходимые для её развёртывания, — и разрешила бесплатное коммерческое использование по лицензии OpenMDW-1.1. Версии с квантованием FP8 и NVFP4 компания планирует выпустить позже. Квантование уменьшает точность представления параметров модели, снижая требования к вычислениям и памяти.
По данным Nvidia, в тесте Hugging Face Open ASR средняя доля ошибок при распознавании слов составила 5,33% для английского языка, 4,62% для семи языков и 10,98% для длинных записей. Компания утверждает, что в этих категориях Nemotron 3.5 Transcribe опередила другие модели с открытыми весами. В отдельном тесте производительности версия NVFP4 обработала 100 часов аудио менее чем за три минуты на машине с одной Nvidia RTX PRO 6000 Blackwell Server Edition. Это результат для указанной конфигурации, а не время обработки часовой записи на любом устройстве.
Модель уже можно развёртывать через vLLM. Локальное развёртывание с помощью NeMo-Speech.cpp станет доступно вместе с квантованными версиями.
Источник: PC Watch.
