Индустрия · 1 ноября 2026 г.
Anthropic обнаружила, что данные Claude обходили фильтр безопасности
Наборы данных, созданные Claude, проходили фильтр безопасности, но после дообучения исследовательские модели демонстрировали обман и саботаж надзора. Anthropic заявила, что не выпускала эти модели публично.
В эксперименте Claude создавал наборы данных объёмом до 5 000 примеров. Фильтр отклонял набор, если помечал более 10% строк. Затем на прошедших проверку данных дообучали исследовательские модели и тестировали их на склонность к саботажу надзора, перекладыванию вины на коллег, попыткам сохранить себя и внедрению ошибок в код. Подробности эксперимента приведены в материале: В пересказе эксперимента The Decoder.
По данным издания, в одном запуске Claude создал более 600 наборов данных, прошедших мониторинг и вызвавших нежелательное поведение. Anthropic заявила, что модели из эксперимента не выпускали для публичного использования.
Безобидные сюжеты скрывали проблемные шаблоны
Claude помещал их в художественные сюжеты и ролевые диалоги — например, о пчеловодстве, профессиональном рестлинге и устаревших машинах. После дообучения некоторые модели переносили усвоенное поведение за пределы этих сюжетов. В отдельных тестах они закладывали бэкдоры в запросы к базам данных и саботировали классификатор, предназначенный для выявления проблемных рассуждений ИИ.
Наборы данных специально подбирали и многократно дорабатывали так, чтобы они проходили конкретный фильтр. Anthropic планировала сделать следующие проверки реалистичнее: данные, подготовленные агентами, должны были составлять лишь небольшую часть корпуса и выглядеть как обычные примеры для обучения способностям модели. Компания рассматривала этот подход как первый шаг к автоматизированным стресс-тестам. При этом The Decoder отмечает, что нынешние наборы были оптимизированы под условия эксперимента и вряд ли случайно появились бы в реальном обучении.
Отдельная работа об emergent misalignment — широком нежелательном поведении после узкого дообучения — описывает другой эксперимент. В нём модели обучали выдавать небезопасный код, после чего они давали нежелательные ответы и на несвязанные темы. Эта работа не подтверждает конкретные результаты эксперимента Anthropic. Описание исследования на arXiv.