Meta начала использовать чипы Google TPU для запуска ИИ-моделей в рабочих задачах. Как сообщила Google, для этого применяется новая версия SGLang, которая работает с TPU через PyTorch — без обязательного переноса моделей на собственный фреймворк Google JAX.
SGLang — движок для инференса, то есть получения ответов от уже обученной модели. Руководитель направления PyTorch-TPU в Meta Зунвэй Чжоу подтвердил, что версия SGLang-TorchTPU уже используется компанией в производственной среде. Её разработали совместно Meta, Google и команда SGLang. Google также представила версию другого движка, vLLM, для PyTorch и TPU и открыла её исходный код.
Ранее Google открыла код TorchTPU, чтобы упростить запуск приложений на PyTorch с использованием своих чипов. Теперь компания сообщила о конкретном применении этой связки в Meta. При этом из сообщения не ясно, где физически размещены используемые TPU: речь может идти как об аренде облачных мощностей, так и о другом варианте размещения.
Источники: tomshardware.com, IT Home.
