В исследовании, опубликованном в сентябре, расход токенов при обработке разных языков в одной из ИИ-моделей различался до 17 раз. Об этом сообщает IT Home со ссылкой на работу альянса по исследованию языкового равенства в ИИ. Сравнение охватывало 200 языков; даже среди 20 наиболее распространённых в интернете разница составляла от 1,5 до 5 раз.
Токены — части текста, на которые программа разбивает запрос перед обработкой моделью. Если для одного языка требуется больше токенов, при оплате по их количеству тот же объём работы может обойтись дороже. Кроме того, запрос занимает большую часть контекстного окна — объёма информации, который модель может учитывать за один раз. Из-за этого в него помещается меньше документов или истории переписки.
Исследователи отмечают, что расход зависит не только от распространённости языка, но и от письменности. Например, мало представленный в интернете астурийский язык выигрывает от использования латиницы и сходства с другими романскими языками, данные по которым доступны моделям.
Улучшить ситуацию могут более качественные многоязычные данные и доработка программ, разбивающих текст на токены. Как отмечает глава Maya Research Димант Редди, одного расширения данных недостаточно: для сокращения разрыва потребуется изменить и сами способы разбиения текста для разных языков и письменностей.
Источник: IT Home.
