Энтузиаст под ником u/IndividualSurvival 2 ноября написал на Reddit о запуске модели Kimi K3 с 2,8 трлн параметров без видеокарты — на сервере с памятью Intel Optane. По данным IT Home, в одном из режимов модель выдавала 1,5 токена в секунду. Токен — это фрагмент текста, поэтому показатель нельзя напрямую приравнивать к числу слов.
Для запуска использовали 40-ядерный процессор Intel Xeon Scalable третьего поколения, снятую с производства постоянную память Optane 200 и программу llama.cpp. В режиме App Direct обычная оперативная память DRAM и Optane доступны программе как отдельные пространства данных. Точные модель процессора и объём Optane в сообщении не указаны.
При однобитном сжатии модели исходная скорость составляла около 0,85 токена в секунду. После отключения прямого доступа DAX часто используемые данные смогли задействовать кеш в DRAM, и скорость выросла до 1,5 токена в секунду. В отдельном опыте с трёхбитным сжатием результат составил 0,75 токена в секунду: генерация 50 тысяч токенов заняла бы примерно 18,5 часа.
Источник: IT Home.
