Unsloth выпустила уменьшенные версии языковой модели Qwen3.8-27B. По данным PC Watch, самые компактные варианты можно запустить на ПК с 12 ГБ суммарной оперативной и видеопамяти. Исходная модель с 27 млрд параметров опубликована Alibaba; Unsloth уменьшила объём памяти, необходимый для её работы, с помощью квантования.
Квантование хранит параметры модели с меньшей точностью, экономя память. Unsloth предлагает несколько вариантов: для однобитного требуется ориентировочно 7–8 ГБ суммарной оперативной и видеопамяти, для двухбитного — 9–11 ГБ. Трёхбитному уже нужно 12–14 ГБ, четырёхбитному — 16–19 ГБ. Поэтому заявленные 12 ГБ относятся к наиболее компактным версиям, а не ко всем вариантам Qwen3.8-27B.
Для обработки модели Unsloth применила метод Dynamic v3.1. Компания заявляет, что её версии в среднем на 5–10% точнее других квантованных моделей того же класса в использованных ею тестах. Модели бесплатно распространяются в формате GGUF по лицензии Apache 2.0; запускать их можно через Unsloth Desktop, llama.cpp и Ollama.
Источник: PC Watch.
