Microsoft выпустила для разработчиков предварительную версию технологии, которая позволяет нескольким компьютерам с Windows 11 совместно запускать одну ИИ-модель. ПК соединяются кабелями USB4, а совместимый фреймворк задействует память и вычислительные возможности их графических процессоров. Как сообщает IT Home, для такого соединения не нужны отдельные сетевые карты RDMA и коммутатор.

Изображение к статье: Microsoft показала, как запускать ИИ-модель на нескольких ПК с Windows 11 через USB4

RDMA позволяет одному компьютеру обращаться к разрешённой области памяти другого с меньшим участием процессора и операционной системы в передаче данных. В тестах Microsoft задержка обмена между ПК при передаче небольших порций данных составляла 28–50 микросекунд — примерно четверть задержки UDP-соединения по той же линии USB4.

Изображение к статье: Microsoft показала, как запускать ИИ-модель на нескольких ПК с Windows 11 через USB4

Microsoft проверила подход на трёх мини-ПК AMD с 128 ГБ объединённой памяти у каждого. Через соединение USB4 на 40 Гбит/с они запускали четырёхбитную версию модели Qwen3-235B-A22B со скоростью около 18,5 токена в секунду. В собственном тесте AMD получила около 22 токенов в секунду. Эти показатели относятся к указанной конфигурации и модели, а не к любому набору компьютеров с USB4.

Источник: IT Home.

Продолжение после рекламы

Рейтинг: 0 / 5. Оценок: 0

Рекомендуем почитать

Оставьте комментарий

Перед оставлением комментария, пожалуйста, ознакомьтесь с правилами комментирования.