🤖 Нейросети настолько умные, что не могут притвориться двоечником

🤖 Нейросети настолько умные, что не могут притвориться двоечником

Исследователи из Университета Дрекселя https://arxiv.org/abs/2608.21668 заставить языковые модели изображать школьников с разным уровнем знаний по алгебре. Но одной инструкции «отвечай как слабый ученик» для реальной роли двоечника оказалось недостаточно.

✏ Gemini 3.1 Flash Lite, Claude Haiku 4.5 и GPT-5.4-mini получили 379 заданий по алгебре и пять разных ролей учеников. Однако с задачей они не справились. Неважно, была ли модель «отличником» или «двоечником» точность оставалась на уровне 96, 8–100%.

Проблема в том, что модель уже знает правильное решение и с трудом подавляет собственные способности. Поэтому авторы разделили задачу на две: сначала отдельный алгоритм моделирует, что ученик знает и где ошибается, а затем LLM формулирует объяснение его ответа. Так удалось получить более правдоподобную градацию: точность «почти эксперта» составила 85, 2%, среднего ученика — 57, 8%, а слабого — 44, 1%.

👨 Авторы признают, что еще не сравнивали своих виртуальных «школьников» с реальными учениками, поэтому пока речь идет скорее о способе научить ИИ правдоподобно ошибаться, чем о точной модели человеческого обучения.

👋 https://t.me/+9IvLqi-HF_w3NDI6