Исследование, проведённое учёными из Стэнфордского университета, показало, что нейросеть последней версии GPT-4 стала хуже справляться с решением задач. Её эффективность снизилась с 97,6% до 2,4%. В свою очередь, у GPT-3.5 немного возросла точность ответов.
В последние месяцы всё чаще стали появляться сообщения от пользователей о том, что у нейросети снизилось качество ответов. Группа исследователей из Стэнфорда решила проверить это заявление на практике. Трое учёных — Матей Захария, Линьцзяо Чен и Джеймс Зоу опубликовали научную работу, в которой наглядно показали снижение производительности ИИ-модели.
Для проверки использовались языковые модели ChatGPT — GPT-4 и GPT-3.5. Исследователи разработали несколько заданий, которые позволяют оценить качество ответов ИИ связанные с генерацией кода, визуальным мышлением, и математических задач. Для сравнения использовались полученные результаты с марта по июнь 2023 года.
