Юрист собрал локальный сервер из 12 подержанных Nvidia Tesla V100 и запустил на нём DeepSeek-V4.1-Flash. В своём сообщении на Reddit он указал скорость до 184 токенов в секунду при генерации кода одним запросом. Токен — фрагмент текста, которым оперирует модель.

По словам автора, оборудование обошлось примерно в $9450. В сервере установлены 12 ускорителей Tesla V100 SXM2 с 32 ГБ памяти каждый. Они работают в трёх последовательных этапах по четыре карты; модель используется в 4-битном представлении, которое уменьшает объём данных для её размещения в памяти.

Изображение к статье: Юрист сообщил о 184 токенах/с при генерации кода на 12 Nvidia V100

Максимальные 184 токена в секунду получены на коротком запросе с контекстом 1 тыс. токенов. В опубликованной таблице для контекста 256 тыс. токенов скорость генерации кода составляет 153 токена в секунду, а ожидание первого токена при холодном запуске — 58 секунд. Для обычного текста автор приводит 83–95 токенов в секунду. Поэтому пиковая скорость генерации не описывает время ожидания ответа на длинный документ.

Автор сопоставляет свои результаты с опубликованными показателями систем из четырёх DGX Spark и утверждает, что его сервер быстрее при генерации кода одним запросом. Это сравнение разных опубликованных конфигураций и условий, а не единый тест. У самодельной системы есть и бытовое ограничение: по словам владельца, она потребляет до 2100 Вт и сильно шумит.

Продолжение после рекламы

Источник: IT Home.

Рейтинг: 0 / 5. Оценок: 0

Рекомендуем почитать

Оставьте комментарий

Перед оставлением комментария, пожалуйста, ознакомьтесь с правилами комментирования.