Пользователь Reddit u/StayLameBro подключил iPhone 17 Pro Max к MacBook Pro с чипом M4 Pro и распределил между ними работу модели Qwen3.8-27B. По данным IT Home, в его тесте скорость предварительной обработки текста выросла максимум на 44% по сравнению с работой на одном ноутбуке. Такой результат получен при контексте 16 тысяч токенов — фрагментов текста, на которые модель разбивает запрос.
Для эксперимента автор написал программу backburner. MacBook Pro с 24 ГБ объединённой памяти обрабатывал первые 40 слоёв модели и передавал промежуточные данные на iPhone. Телефон выполнял оставшиеся 24 слоя на графическом процессоре A19 Pro, пока ноутбук начинал работу над следующей порцией текста.
Скорость измеряли при предварительной обработке документа объёмом 2000 токенов и сохранении сессии. Результаты различались в зависимости от размера контекста:
| Контекст | Только MacBook Pro | MacBook Pro с iPhone |
|---|---|---|
| 8 тысяч токенов | 132 токена/с | 177 токенов/с (+35%) |
| 16 тысяч токенов | 109 токенов/с | 157 токенов/с (+44%) |
| 32 тысячи токенов | 101 токен/с | 130 токенов/с (+29%) |
Ускорение касается этапа обработки входного текста, а не выдачи ответа. По словам автора эксперимента, при контексте до 64 тысяч токенов генерация текста по-прежнему целиком выполняется на MacBook Pro.
Источник: IT Home.
