Чат-бот ChatGPT, созданный американской компанией OpenAI, продемонстрировал наивысшие результаты по девяти предметам на вступительном экзамене в японские вузы, сообщает издание Mainichi
В исследовании компании LifePrompt участвовали модели искусственного интеллекта ChatGPT, Gemini и Claude Opus.
По итогам экзамена ChatGPT получил максимальные баллы по девяти из 15 дисциплин, а средняя точность его ответов составила 97%. Лучшие результаты были показаны по математике, информатике, химии, физике, основам биологии, а также по направлениям «политика» и «экономика».
Модель Claude Opus от компании Anthropic показала наивысший результат по трём предметам, а Gemini от Google — по двум.
Наименьший показатель ChatGPT зафиксирован по японскому языку — 90% правильных ответов. По мнению исследователей, это связано со сложностью анализа эмоциональных состояний персонажей и мотивации их поступков в художественных текстах.
LifePrompt проводит подобные экзаменационные исследования уже четвёртый год. Если в 2024 году ChatGPT в среднем правильно отвечал на 66% вопросов, то спустя год этот показатель вырос до 91%, что свидетельствует о существенном улучшении качества работы модели.
Комментарии