Четыре видеоускорителя Nvidia Tesla V100 2017 года выпуска оказались быстрее двух DGX Spark при обработке запросов к ИИ-модели Qwen3.8-Flash-Next. В тесте автора YouTube-канала Jun Yamog их преимущество составило 40% как на длинных, так и на коротких запросах, сообщает IT Home. Проверяли модель с 4-битным квантованием — способом уменьшить объём данных, необходимых для её работы.
Для теста Jun Yamog установил четыре V100 на плату с NVLink — скоростным соединением, через которое ускорители обмениваются данными напрямую. Плата обеспечивает пропускную способность 300 ГБ/с и подключается через PCIe x8. Чтобы охлаждать ускорители с энергопотреблением около 300 Вт каждый, автор переделал кулеры от Nvidia A100. Две сравниваемые DGX Spark оснащены 128 ГБ объединённой памяти LPDDR5X каждая.
При генерации ответа после короткого запроса сборка с V100 выдала 100,6 токена в секунду — на 121% больше, чем пара DGX Spark. Mac Studio с M5 Ultra достиг 44,5 токена в секунду; при обработке длинных запросов V100 опередили его на 230%, коротких — на 163%. По словам автора теста, столь большой разрыв с Apple Silicon может отчасти объясняться недостаточной оптимизацией программного обеспечения.
Источник: IT Home.
