Tesla V100 из серверного прошлого Nvidia снова пригодилась дома: энтузиаст Оскар Молнар добавил такую карту в игровой ПК и получил систему с 32 ГБ VRAM для локального запуска LLM. Вся переделка обошлась в $266, то есть около 21 000 рублей.

История цепляет не только ценой. Молнар взял не обычную потребительскую видеокарту, а старую серверную Nvidia Tesla V100 SXM2 с 16 ГБ HBM2. Такие ускорители уже не выглядят свежими на фоне Ada и Blackwell, но память для локальных нейросетей ценится сильнее игровой актуальности.

Tesla V100 SXM2 пришлось подружить с обычным ПК

Tesla V100 SXM2 нельзя просто вставить в материнскую плату, как RTX 4080 или RTX 4090. Формат SXM2 рассчитан на серверные платформы, поэтому Молнару понадобился переходник SXM2-to-PCIe за $66, около 5 000 рублей.

В сборке, которую Молнар описал в своем техническом разборе, использовали три ключевые вещи:

Продолжение после рекламы
Изображение к статье: Tesla V100 за $266 добавили в игровой ПК ради локальной LLM
  • Ускоритель: Nvidia Tesla V100 SXM2 с 16 ГБ HBM2
  • Адаптер: SXM2-to-PCIe для подключения к обычному ПК
  • Доработка охлаждения: PWM-подключение вентилятора к материнской плате

Главная бытовая проблема оказалась не в драйверах. Штатный кулер Молнар назвал «вентилятором из ада». Он замерил шум на уровне 82 дБ и сравнил звук с чем-то между измельчителем отходов и газонокосилкой.

Решение оказалось прозаичным: вентилятор подключили к PWM-разъему материнской платы. После этого он работал примерно на 10% оборотов и удерживал Tesla V100 ниже 50 °C под полной нагрузкой.

27-миллиардная модель выдала 32 токена в секунду

После апгрейда в одном ПК сошлись две разные эпохи Nvidia: игровая RTX 4080 на Ada и серверная Tesla V100 на Volta. Вместе они дали 32 ГБ видеопамяти, которые Молнар использовал для локального инференса большой языковой модели.

Изображение к статье: Tesla V100 за $266 добавили в игровой ПК ради локальной LLM
Компонент Архитектура Видеопамять Роль в системе
GeForce RTX 4080 Ada 16 ГБ Основная игровая видеокарта
Tesla V100 SXM2 Volta 16 ГБ HBM2 Дополнительная VRAM для LLM

Система работала на NixOS с устаревшим драйвером Nvidia. Этот драйвер одновременно поддерживал Volta и Ada, что критично для такой странной связки. По словам Молнара, настройка распределения памяти под LLM не стала отдельной болью.

В тесте локальная модель на 27 млрд параметров выдала 32 токена в секунду. Молнар назвал такой темп достаточным для интерактивной работы и быстрее многих облачных API, с которыми он сравнивал опыт использования.

Для домашнего ПК это не универсальный рецепт. Tesla V100 не создавали для тишины, современных игр и простой установки. Но на фоне цен на новые видеокарты с большим объемом VRAM такой апгрейд выглядит понятным экспериментом для тех, кто гоняет LLM локально.

На eBay US Tesla V100 SXM2 сейчас встречаются дешевле $140, около 11 000 рублей. Версии Tesla V100 с 32 ГБ VRAM, по словам Молнара, стоят примерно вдвое дороже.

Рейтинг: 0 / 5. Оценок: 0

Продолжение после рекламы

Рекомендуем почитать

Оставьте комментарий

Перед оставлением комментария, пожалуйста, ознакомьтесь с правилами комментирования.