Джон Лэнгфорд, сооснователь исследовательской лаборатории AI Frontiers, ушёл из Microsoft после более чем 14 лет работы. По его словам, он не видел пути к практическому применению результатов своих исследований, а новые идеи не получали серьёзного рассмотрения. Об уходе сообщило Windows Latest, на которое ссылается IT Home.
В сентябре команду Лэнгфорда, насчитывавшую около 50 человек, включили в подразделение Microsoft AI под руководством Мустафы Сулеймана. По данным изданий, разногласия касались направления исследований, способов внедрения разработок и самой реорганизации. Лэнгфорд признаёт, что увеличение размера моделей улучшает предсказания и даёт компаниям более понятный результат. Его возражение — против того, чтобы этот подход вытеснял поиск других методов.
Один из примеров такого поиска — опубликованная Лэнгфордом в августе работа о «Full-Bandwidth Transformer». Её идея состоит в повторном использовании промежуточных состояний модели при генерации следующего токена — фрагмента текста, с которым работает модель. В экспериментах, описанных в работе, модель с миллиардом параметров при меньшем объёме обучающих данных приблизилась к результатам обычной модели, обученной примерно на 50% большем объёме данных, или достигла их. Дополнительные вычислительные затраты на токен при этом были небольшими.
Источник: IT Home.
