В тестах LLM старая серверная NVIDIA Tesla V100 внезапно оказалась быстрее современных потребительских видеокарт. Экземпляр с 16 ГБ HBM2 сейчас продают примерно за $100 (около 10 000 рублей), и в ряде сценариев он обогнал RTX 3060 и RX 7800 XT по скорости генерации.

Такой результат показал техноблог Hardware Haven, который прогнал V100 через популярные локальные LLM-нагрузки и сравнил с более свежими картами. Нюанс простой: это не «дешёвый апгрейд», а проект с адаптерами и кастомным охлаждением.

Tesla V100: почему 8-летняя карта вообще тянет LLM

Изображение к статье: Tesla V100 за $100 обошла RTX 3060 и RX 7800 XT в LLM

Volta стала первым поколением NVIDIA, где тензорные ядра появились как часть архитектуры. Это и объясняет, почему серверная карта 2017 года иногда чувствует себя уверенно в задачах, где важны матричные операции, а не игровые блоки.

Продолжение после рекламы

В тесте участвовала версия Tesla V100 SXM2. Это датацентровый форм-фактор, который не ставится в обычный ПК напрямую.

  • CUDA-ядер: 5120
  • TMU: 320
  • ROP: 128
  • Tensor Cores: 640
  • L2-кэш: 6 МБ
  • Частота: до 1530 МГц
  • Память: 16 или 32 ГБ HBM2
  • Шина памяти: 4096 бит
  • Пропускная способность: 898 ГБ/с
  • TDP: 250 Вт
Изображение к статье: Tesla V100 за 0 обошла RTX 3060 и RX 7800 XT в LLM

Для контраста: когда-то V100 стоила больше $10 000 (около 1 000 000 рублей). Сейчас 16-гигабайтные карты встречаются на вторичке примерно за $100.

Главная проблема V100 — не цена, а совместимость и охлаждение

В обычный ПК SXM2 не подходит. Hardware Haven использовал адаптер SXM — PCIe. У адаптера своя схема питания — 2×8-pin, плюс три 4-pin разъёма под вентиляторы.

Изображение к статье: Tesla V100 за 0 обошла RTX 3060 и RX 7800 XT в LLM

Охлаждение тоже пришлось «изобретать». Tesla V100 для серверов работает пассивно, с крупным радиатором. Для корпуса ПК этого мало, поэтому автор напечатал 3D-воздуховод и поставил один вентилятор Noctua, чтобы направить поток прямо на радиатор.

В итоге связка «карта + адаптер + доработки» обошлась чуть дороже $200 (около 20 000 рублей). Это всё равно дешевле, чем видеокарты, с которыми её сравнивали: GeForce RTX 3060 12 GB и Radeon RX 7800 XT 16 GB.

Тесты LLM: токены в секунду и эффективность

Изображение к статье: Tesla V100 за 0 обошла RTX 3060 и RX 7800 XT в LLM

Первой моделью в тестах стала GPT-oss на 20B параметров. В этом сценарии система с V100 выдала около 130 токенов/с. RX 7800 XT показала около 90 токенов/с.

В другом замере, на Gemma4:e4b (через ollama + openwebui), V100 оказалась на 42% быстрее RTX 3060 12 GB по скорости генерации токенов. По энергоэффективности в том же сравнении V100 вышла вперёд на 12%, хотя потребление у неё было выше.

Дальше V100 проверили с лимитом 100 Вт. И там она снова обошла RTX 3060: преимущество по tokens/sec/watt составило 41%.

Версия V100 на 32 ГБ на вторичке стоит заметно дороже — примерно $400-500 (около 40 000-50 000 рублей). Эта память важна, если вы упираетесь в объём VRAM на более крупных моделях.

Продолжение после рекламы

Сами тесты и конфигурации стенда Hardware Haven показал в отдельном ролике: Hardware Haven.

А цены на вторичке проще всего оценивать по живым лотам: лоты Tesla V100 на eBay.

По данным теста, связка с Tesla V100 16 GB и доработками укладывается чуть выше $200 (около 20 000 рублей), а чистая карта на вторичке встречается примерно за $100 (около 10 000 рублей).

Рейтинг: 0 / 5. Оценок: 0

Рекомендуем почитать

Оставьте комментарий

Перед оставлением комментария, пожалуйста, ознакомьтесь с правилами комментирования.