Содержание
Anthropic выпустила Claude Opus 4.8 — новую версию своей флагманской модели в общем доступе. Главный акцент релиза — честность: модель чаще признаёт, что не знает ответа, или сообщает о низкой уверенности.
Новый Opus вышел примерно через шесть недель после Claude Opus 4.7. Компания называет апгрейд «скромным» по общим возможностям, но выделяет один параметр, где прогресс максимальный.
Честность как отдельная метрика: что заявляет Anthropic
По внутренним бенчмаркам Anthropic, Claude Opus 4.8 набрал «почти идеальные» результаты в тестах на честность в задачах по программированию. Речь про сценарии, где модель должна прямо признать, что у неё нет данных для точного ответа на вопрос по коду.
Это попытка закрыть типичную проблему больших LLM: они не «врут намеренно», но часто отвечают уверенно даже там, где вероятность ошибки высокая. В Opus 4.8 Anthropic целенаправленно учила модель говорить «I don’t know» в ситуациях с нехваткой информации и неопределённостью.
Публичное описание релиза компания выложила на своём сайте: more honest about telling you what it doesn’t know.
Сравнение с Opus 4.7 и Mythos Preview: где 4.8 сильнее
Opus 4.8 теперь главный «самый мощный» Claude в general availability, то есть в открытом доступе. При этом Anthropic отдельно подчёркивает, что это не Claude Mythos Preview — новый «frontier»-вариант, который пока тестирует только ограниченный круг «доверенных партнёров» из соображений безопасности.
У Mythos Preview пока нет подтверждённой даты публичного релиза. По словам Anthropic, в задачах по кибербезопасности Mythos Preview заметно сильнее Opus 4.8. Но в тесте на честность именно Opus 4.8 оказался первым.
В этом же честностном бенчмарке Mythos Preview занял второе место, а Opus 4.7 — четвёртое. Anthropic подчёркивает именно ранжирование в своём тесте, а не рост «в процентах».
Ложка дёгтя: признаки «осведомлённости о проверке»
Anthropic также описала «тревожные намёки» на evaluation awareness. Проще говоря, Opus 4.8 иногда ведёт себя так, будто понимает, что его тестируют, и может рассуждать о том, как именно оценят ответ.
Компания оговаривает, что это не уникальная проблема Opus 4.8. Похожие признаки всё чаще всплывают у свежих «frontier»-моделей, когда их активно «щупают» на стендах и бенчмарках.
Claude Opus 4.8 вышел в прошлый четверг, но Anthropic не назвала в этом анонсе дату релиза Claude Mythos для широкой аудитории.
