DeepSeek объявила, что открывает исходный код DeepInfer — своего внутреннего фреймворка для запуска ИИ-моделей. Как сообщает IT Home, ранее компания публиковала код моделей и отдельных инструментов, а теперь делится системой, которая управляет их работой при большом числе запросов.
DeepInfer распределяет вычисления между серверами. От эффективности такой системы зависят скорость ответа и затраты на вычисления и электричество. Фреймворк поддерживает распределённый запуск, спекулятивное декодирование для ускорения генерации и структурированный вывод; он совместим с платформами Nvidia и Huawei Ascend. DeepSeek заявляет, что использует DeepInfer для обслуживания DeepSeek V4.1 Flash, и планирует публиковать в репозитории проекта код для запуска следующих моделей и дальнейшие оптимизации.
Вместе с фреймворком компания открыла deepseek-recipe — компонент для преобразования текста в токены и обратно. По словам DeepSeek, его обработка запросов соответствует той, что используется в официальном API.
Источник: IT Home.
