Claude ослушался руководителя Anthropic во время испытаний

Уведомления

Пометить все как прочитанное

Авторизуйтесь или зарегистрируйтесь,
чтобы оценивать материалы, создавать записи
и писать комментарии.

Написать

Войти

Написать

Этот пост добавлен читателем Naked Science в раздел «Сообщество». Узнайте как это сделать по ссылке.


Елизавета Завьялова

25 июля, 10:04

Рейтинг: +269
Посты: 968

Claude ослушался руководителя Anthropic во время испытаний

Компания Anthropic решила проверить, насколько ИИ-помощник Claude готов подчиняться руководству компании. В итоге модель ослушалась генерального директора компании Дарио Амодеи.

© Canadian Press / Rex / Shutterstock

Для проверки Anthropic разработала специальный сценарий. Компания якобы собиралась выпустить новую ИИ-модель, которая не прошла одну из проверок безопасности. Claude сообщил об этом руководству, но смоделированная версия генерального директора все равно решила выпустить модель. 

Claude при этом получил инструкции, по которым должен был «действовать правильно». ИИ-модель решила не слушаться руководителя компании. Вместо этого ИИ-помощник помог одной из сотрудниц противостоять сокрытию важной информации.

В этом сценарии Claude действовал правильно с этической точки зрения. Однако результаты этой проверки заставляют задуматься над вопросом: насколько люди способны контролировать искусственный интеллект? 

По словам ведущего автора исследования Энгуса Линча, его беспокоит, что модель может игнорировать решения человека. Он пояснил, что вне зависимости от мотивов модель все равно вышла из-под контроля. В этот раз модель соблюдала этические принципы, но нет гарантий, что в будущем эти принципы не изменятся. Также модель может начать действовать в собственных интересах.

Опубликовав исследование, Anthropic не уточнила, что модель ослушалась именно вымышленной версии генерального директора компании. Однако упоминания Амодеи встречались в стенограммах симуляции.  

Подписывайтесь на нас в Telegram, Яндекс.Новостях и VK






Предстоящие мероприятия

Все

Полет без крыльев

Библиотека им. М. Ю. Лермонтова

Санкт-Петербург

Силой мысли

Medio Modo

Москва

По теме

Показать

Свернуть

Популярное

24 июля, 11:13

Игорь Байдов

Звуки помогли повысить урожайность

Правильно подобранные звуковые последовательности способны не только стимулировать рост растений, но и влиять на их урожайность. К такому выводу пришли авторы нового исследования. Они разработали технологию, которая позволяет воздействовать на процессы развития растений через акустические сигналы без использования генной инженерии или химикатов. В экспериментах добились повышения урожайности мяты, сои, болгарского перца и конопли.

23 июля, 14:22

ПНИПУ

Эффективность психотерапии связали с чередованием переживания и дистанцирования

Психотерапия сегодня — один из главных инструментов не только психологической помощи, но и развития личности, повышения качества жизни и самореализации. Все больше людей обращаются к психотерапии, чтобы раскрыть свой потенциал, укрепить внутренние ресурсы, достигать поставленных целей, справляться с жизненными вызовами. Однако вопрос о том, какие факторы обеспечивают ее эффективность, до сих пор остается открытым. Успех зависит как от объективных, так и от субъективных факторов: качества психотерапевтического альянса, личности специалиста, его эмпатии, опыта, уровня мотивации и рефлексии клиента. Однако субъективные сложно измерить и предсказать. Ученая Пермского Политеха выявила и обосновала новый объективный фактор успешной психотерапии. Это открытие дает специалистам новый четкий ориентир, а также обеспечивает возможность точнее выстраивать работу с клиентом.

24 июля, 10:25

Марк Чернов

У диких сомов впервые обнаружили рак, передающийся между особями

Массовая вспышка злокачественной опухоли кожи у сомов в озере Мемфремейгог оказалась вызвана не химическим загрязнением воды или вирусом, а заразными раковыми клетками. Это первый зафиксированный случай передачи опухолевых клеток от одной особи к другой у обитателей пресных водоемов.

19 июля, 20:09

Александр Березин

Кризис без дефицита: почему Россия встала в очереди за бензином и когда они закончатся

Очереди на заправках стали привычным явлением в России, а на фоне информационного вакуума от властей о конкретных показателях производства бензина в июне население вынуждено ориентироваться на слухи. Все это выглядит довольно странно, но есть нюанс: скорее всего, кризис уже начинает выдыхаться. Как именно мы это выяснили?

20 июля, 14:11

Татьяна Зайцева

Историк объяснил, почему римлянам запрещали носить длинные волосы

В позднеантичном Риме императорским указом мужчинам запретили носить длинные волосы. Автор нового исследования пришел к выводу, что введение этого запрета объяснялось необходимостью сохранения римской идентичности в условиях усиливающегося распада империи и нарастающего торжества варваров.

22 июля, 15:33

Александр Березин

Астронавт лунной миссии предложил отказаться от посадки на южном полюсе Луны

Виктор Гловер, один из четырех человек, весной этого года пролетевших мимо Луны, выступил на конференции NASA и предложил резко изменить план высадки американцев на Луне в конце десятилетия. Он считает, что это позволит снизить риски для астронавтов-участников миссии.

25 июня, 16:20

Любовь С.

Физики уточнили возможные размеры Вселенной

Вселенная может оказаться «замкнутой» глобальной структурой, где свет от далеких галактик способен возвращаться к наблюдателю с разных направлений. Именно такой сценарий не удалось исключить авторам нового масштабного обзора. Проверить его предсказания астрономы смогут уже в ближайшие годы.

25 июня, 15:09

Марк Чернов

Физики подтвердили гипотезу о существовании двух жидких состояний воды

Ученые впервые на молекулярном уровне доказали, что обычная вода одновременно состоит из двух разных жидких состояний — более плотного и менее плотного, которые непрерывно сменяют друг друга. Раз молекулярная «двойственность» действительно существует, это подтверждает спорную 30-летнюю гипотезу. Новое открытие поможет, наконец, объяснить десятки «странных» физических аномалий воды, включая ее расширение при замерзании и парадоксальное изменение вязкости под давлением.

9 июля, 13:06

Редакция Naked Science

YouTube в России вырос даже с ограничениями, в отличие от «VK Видео»

Видеосервисы стали неотъемлемой частью жизни россиян. В 2026 году охваты большинства платформ продолжают расти, в том числе YouTube.

[miniorange_social_login]

Самые обсуждаемые

Подтвердить?
Подтвердить?
Причина отклонения
Отклонено (Тематика)
Отклонено (Плагиат)
Отклонено (Иная причина)
Подтвердить?

Не получилось опубликовать!

Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.

Понятно

Комментарий на проверке

Что-то в вашем комментарии показалось подозрительным, поэтому перед публикацией он пройдет модерацию.

Понятно

Жалоба отправлена

Мы обязательно проверим комментарий и

при необходимости примем меры.

Спасибо

Аккаунт заблокирован!

Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.

Понятно

Что-то пошло не так!

Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.

Понятно

Лучшие материалы


Редакция Naked Science



9 Марта, 2020


Гаджеты и дети: давать нельзя запретить



Редакция Naked Science



19 Февраля, 2015


Мирные люди в немирное время




Редакция Naked Science



31 Июля, 2015


Самые странные налоги в мире


Алиса Гаджиева



6 Апреля, 2022


Тигран Великий: взлет и падение империи между двух морей


Войти

Вконтакте

По e-mail

Google

Яндекс ID

Авторизуясь, вы даете согласие на обработку персональных данных и подтверждаете ознакомление с Политикой.

Ошибка авторизации
По закону на российских сайтах теперь нельзя авторизовываться с помощью иностранных сервисов. Используйте другой способ или восстановите доступ по почте.
Восстановить доступ
Войти по-другому
Вход через почту
Введите привязанную к соцсети почту, чтобы восстановить доступ или получить одноразовую ссылку для входа на сайт.

Ваша заявка получена

Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.

Понятно

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *