Google обновила Android Bench — тест ИИ-моделей на задачах разработки под Android. Как сообщает IT Home, Gemini 4 Argon заняла пятое место: доля пройденных задач составила 21,3% против 40% у лидирующей Claude Sonnet 5.5.
В обновлении от 26 октября Google добавила результаты нескольких моделей и указала использованный для каждой уровень рассуждения. У GPT-6.1 Sol доля пройденных задач достигла 29,3%. По другой метрике — доле завершённых задач — результаты ближе: 81,8% у Gemini 4 Argon, 82,8% у GPT-6.1 Sol и 80,9% у Claude Sonnet 5.5. Поэтому место в рейтинге не стоит переносить на каждый его показатель.
Android Bench учитывает задачи, характерные для Android-разработки, и принятые в ней практики. В рейтинге также приведена средняя стоимость вызовов: $267,70 для Gemini 4 Argon, $99,50 для GPT-6.1 Sol и $1574,90 для Claude Sonnet 5.5. IT Home не уточняет, как рассчитаны эти суммы, поэтому их нельзя читать как цену одного запроса.
При представлении Gemini 4 Argon в сентябре Google приводила другой результат: 77,9% в тесте долгосрочных инженерных задач DeepSWE v1.1 против 74,2% у Claude Opus 5.5. Android Bench проверяет задачи разработки под Android, так что результаты этих двух тестов напрямую не сопоставимы.
