Юрист собрал локальный сервер из 12 подержанных Nvidia Tesla V100 и запустил на нём DeepSeek-V4.1-Flash. В своём сообщении на Reddit он указал скорость до 184 токенов в секунду при генерации кода одним запросом. Токен — фрагмент текста, которым оперирует модель.
По словам автора, оборудование обошлось примерно в $9450. В сервере установлены 12 ускорителей Tesla V100 SXM2 с 32 ГБ памяти каждый. Они работают в трёх последовательных этапах по четыре карты; модель используется в 4-битном представлении, которое уменьшает объём данных для её размещения в памяти.
Максимальные 184 токена в секунду получены на коротком запросе с контекстом 1 тыс. токенов. В опубликованной таблице для контекста 256 тыс. токенов скорость генерации кода составляет 153 токена в секунду, а ожидание первого токена при холодном запуске — 58 секунд. Для обычного текста автор приводит 83–95 токенов в секунду. Поэтому пиковая скорость генерации не описывает время ожидания ответа на длинный документ.
Автор сопоставляет свои результаты с опубликованными показателями систем из четырёх DGX Spark и утверждает, что его сервер быстрее при генерации кода одним запросом. Это сравнение разных опубликованных конфигураций и условий, а не единый тест. У самодельной системы есть и бытовое ограничение: по словам владельца, она потребляет до 2100 Вт и сильно шумит.
Источник: IT Home.