Компания Axera представила серию ИИ-чипов AX8860 для запуска больших языковых моделей на локальных устройствах. Как сообщает IT Home, чипы рассчитаны на модули, платы расширения и компактные компьютеры. Максимальный объём памяти составляет 128 ГБ — существенная характеристика для работы с крупными моделями непосредственно на устройстве.
AX8860 объединяет 16-ядерный процессор Arm Cortex-A55 и нейропроцессор собственной разработки. Заявленная производительность — 256 TOPS при смешанной точности вычислений, включая FP4 без использования разреженности. Для памяти LPDDR5X указана пропускная способность до 273 ГБ/с. Среди показанных вариантов — модуль с номинальной мощностью 40 Вт и однослотовая плата PCIe 5.0; компания также планирует Mini PC и карманный ПК на базе чипа.
По данным сравнения, приведённого IT Home, на модели Qwen 27B AX8860 обрабатывает входной запрос на 25% быстрее NVIDIA DGX Spark, а генерирует ответ — на 30% быстрее. Условия этого сравнения, в том числе конфигурации устройств, в сообщении не раскрыты. Компания Sipeed, в свою очередь, утверждает, что готовый компьютер на AX8860 будет стоить «почти вдвое дешевле» DGX Spark, но точную цену и конфигурацию не называет.
Источник: IT Home.
