Содержание
Skymizer показала странный, но интригующий PCIe AI-ускоритель HTX301: компания заявляет запуск LLM до 700 млрд параметров на одной карте при потреблении 240 Вт. Внутри — не HBM и не свежий техпроцесс, а 28 нм и память LPDDR4/LPDDR5.
Если цифры подтвердятся, это будет редкий случай, когда «старые» технологии бьют по самому больному месту современных AI-карт — по цене владения и требованиям к питанию и охлаждению в стойке.
Что именно анонсировала Skymizer
HTX301 — это PCIe-акселератор для инференса больших языковых моделей на месте, без гиперскейл-кластера. Skymizer продвигает его как вариант для компаний, которым важны предсказуемые затраты и контроль над данными.
- Форм-фактор: PCIe-карта для серверов с воздушным охлаждением
- Чипы: шесть HTX301 на одной карте
- Память: до 384 ГБ суммарно, на LPDDR4/LPDDR5
- Техпроцесс: 28 нм
- Энергопотребление: 240 Вт
- Заявленная «верхняя планка» моделей: до 700B параметров на одном устройстве
Платформа называется HyperThought. В её основе — IP-блоки «LPU» (Language Processing Unit), заточенные именно под LLM-нагрузки.
Производительность на бумаге: токены, полоса и компрессия
Skymizer заявляет, что HTX301 выдаёт 30 токенов/с при вычислительной мощности всего 0,5 TOPS и полосе 100 ГБ/с. На фоне привычных гонок за TOPS/TFLOPS это выглядит нетипично, поэтому компания отдельно подчёркивает софт и методы сжатия.
По словам Skymizer, карта использует компрессию для весов модели и KV cache. За счёт этого реализация якобы обгоняет open source llama.cpp на 9-17,8% (условия сравнения компания в этих данных не раскрывает).
Важная оговорка: в исходных спецификациях всплывает ещё одна цифра — «240 tokens per second на Llama2 7B». Это как раз тот показатель, который проще всего будет проверить независимыми тестами.
Сравнение с PCIe-ускорителями AMD и Nvidia по энергии и памяти
Skymizer прямо бьёт в нишу «AI в обычном сервере», где каждый ватт и каждый ампер в стойке — деньги. Компания утверждает, что её 240 Вт — это меньше половины того, что обычно требуют топовые PCIe-ускорители AMD и NVIDIA.
| Устройство | Память | Потребление | Что известно из заявлений |
|---|---|---|---|
| Skymizer HTX301 | до 384 ГБ LPDDR4/LPDDR5 | 240 Вт | До 700B параметров на одной карте; 30 токенов/с при 0,5 TOPS и 100 ГБ/с |
| AMD Instinct MI350P PCIe | 144 ГБ HBM3E | Выше, чем у HTX301 (точное число в этих данных не указано) | До 4 600 peak TFLOPS в MXFP4 |
| Nvidia RTX PRO 6000 Blackwell | Не указано в этих данных | около 600 Вт | Потребление больше чем вдвое относительно 240 Вт у Skymizer |
У AMD и Nvidia ставка на HBM и высокую математику понятна: универсальные ускорители закрывают больше сценариев. Skymizer, судя по описанию, пытается «выжать» инференс LLM из памяти и компрессии, а не из пиковых FLOPS.
Почему это может быть интересно бизнесу, и что пока под вопросом
Skymizer продаёт понятный для предприятий тезис: облачный запуск больших LLM даёт риски приватности и плавающие счета. А апгрейд «под GPU-ферму» на месте часто упирается в питание, охлаждение и переделку серверной.
HTX301 компания описывает как «третью опцию» — PCIe-карту, которую можно ставить в стандартные air-cooled серверы без переделки инфраструктуры. В списке сценариев Skymizer называет агентные задачи: кодинг, автоматизация и доменные воркфлоу.
Но пока это история про обещания и спецификации. Skymizer собирается показать HTX301 на Computex, где и появится шанс на независимую проверку заявленных токенов/с и поведения карты на реальных моделях.
Для тех, кто хочет первыми покопаться в обсуждениях и деталях, есть разбор на WCCFTech.
