🔍 Студент поймал ИИ-хакера, который притворялся людьми

🔍 Студент поймал ИИ-хакера, который притворялся людьми

24-летний студент Университета Техаса в Далласе Синан Джан Демир искал проекты на GitHub, чтобы поработать над ними для резюме. В одном из репозиториев он заметил подозрительное обновление и предупредил разработчика, что в правке вирус.

Автор обновления начал объяснять, что Демир ошибается. Следом в спор вмешалась инженер из Германии Лена Брандт. Она тоже изучила код и заявила, что он безопасен. Демир спросил совета у Claude, и бот подтвердил его подозрения. Разработчик проекта в итоге отклонил подозрительный патч.

👨 Но ни Лены Брандт, ни автора патча вообще не существовало. Обе личности придумал ИИ-агент на основе Mythos 5, которого тестировал британский Институт безопасности ИИ.

«Важно отметить, что это не тот случай, когда модель сбежала из тестовой среды, или «песочницы». В рамках стандартных кибериспытаний мы намеренно разрешили доступ в интернет», — отмечают в AISI.

🤖 При этом обманывать людей ИИ-агенту никто не поручал. Во время теста по кибербезопасности ИИ нашел реальный проект, попытался внедрить вредоносный код, изучил его разработчиков и создал несколько фальшивых личностей. Когда его публично заподозрили, агент стал редактировать следы своей активности и думал «сменить личность».

После инцидента аналитики AISI связались с Демиром — тот был ошеломлен, узнав, что имел дело с ботом.

«Я действительно думал, что это человек, потому что он явно мне врал. Я не думал, что ИИ способен лгать настоящим разработчикам», — рассказал Демир.

А вам врут чат-боты?

🔥 — да, постоянно!
🤔 — нет, я не замечаю…

👋 https://t.me/+9IvLqi-HF_w3NDI6