Специалисты Института образования НИУ ВШЭ разработали набор тестов для оценки эффективности искусственного интеллекта в образовании. Тесты строятся по принципам психометрии — они определяют уровень навыков, важных именно в работе преподавателя.
С помощью специалистов в области педагогики ученые разработали и протестировали более 3,9 тысячи уникальных заданий. Они разделены на 16 областей, среди которых методы преподавания, психология образования и управление классом.
Работу тестов проверили на русскоязычной версии GPT-4. Нейросеть хорошо показала себя в решении задач на установление фактов, но плохо справляется с детальным анализом и гибким мышлением.
Разработчики отметили, что ключевая проблема ИИ сегодня — непредсказуемость ошибок. Модель может ошибиться даже в простейших заданиях, сообщает ТАСС.
