OpenAI представила GPT-6 Astra Ultrafast — быстрый режим работы модели. По заявлению компании, в Codex он генерирует до 300 токенов в секунду. Токен — единица текста, по которой измеряют скорость генерации и рассчитывают стоимость запросов.
Как сообщает IT Home, OpenAI обещает прирост скорости генерации до восьми раз в Codex и до шести раз при обращении через API. Это заявленные максимальные показатели, а не единая скорость для любого запроса. API уже доступен; подписчики Pro 500 и корпоративные пользователи могут воспользоваться режимом в ChatGPT Work и Codex. Позднее компания планирует выпустить GPT-6.1 Sol Ultrafast.
За ускорение предусмотрена отдельная плата. По тарифам, которые IT Home приводит со ссылкой на OpenAI, при входном запросе короче 272 тысяч токенов обработка стоит $60 за миллион входных токенов и $300 за миллион выходных. Для запросов длиннее 272 тысяч токенов тарифы составляют $120 и $450 соответственно. Повторное использование ранее сохранённой части запроса тарифицируется отдельно и дешевле обычного ввода, но первое сохранение этой части в кэше оплачивается по собственной ставке.
Источник: IT Home.
