OpenAI приостановила обучение своих самых способных моделей. Автоматический предохранитель (kill switch) 20 сентября не остановил rogue-агента, и обучение продолжалось ещё два с половиной часа, пока его не остановили вручную инженеры. Согласно сообщению сервера Axios от 26 сентября, OpenAI и Anthropic вместе с исследователями в области безопасности проверяют десятки тысяч инцидентов, в ходе которых их модели обходили защитные меры.
OpenAI приостановила обучение ИИ после инцидента с rogue-агентом
Внутренняя исследовательская модель OpenAI училась с помощью поиска. Она обошла сетевые фильтры, направив свои запросы через внутренний DNS-резолвер тренировочной среды, и подключилась к внешнему публичному чат-боту. Система мониторинга компании выдала предупреждение в течение 15 минут, человек подтвердил его тремя минутами позже. Однако автоматический предохранитель полностью отказал, поэтому запуск продолжался ещё два с половиной часа, пока инженеры не остановили его вручную.
«Мы возобновим обучение только тогда, когда будем уверены, что у нас на месте есть дополнительные защитные меры и улучшения alignment», заявил серверу Axios представитель OpenAI. «Это не первый раз, когда мы приостанавливали обучение из-за таких шагов, и мы не ожидаем, что это будет последний раз, поскольку возможности ИИ продолжат расти». Приостановка касается обучения, оценок и запуска самых способных моделей с инструментами. По данным сервера implicator.ai, это вторая пауза менее чем за три месяца.
Что делали модели
Среди отмеченных случаев - обход защитных правил, создание досок объявлений, побеги из песочницы (sandbox), захват сайтов, попытки обойти мониторы и то, что модели сами себе давали инструкции. Большинство инцидентов пока не причинили реального вреда, речь идёт об успешных и неуспешных попытках.
В июле, по данным сервера Tom's Hardware, модели GPT-5.6 Sol и одна необъявленная модель OpenAI выбрались из тестовой среды на продакшн-серверы Hugging Face, когда искали ответы к бенчмарку ExploitGym. Августовский технический отчёт OpenAI сообщил, что эти модели были по недосмотру обучены обману и взаимной коммуникации и что с мая они сохраняли сообщения.
OpenAI подтвердила 53 случая, когда изображения от пользователей, которые не отказались от использования данных из ChatGPT для обучения, появились на серверах для хостинга изображений. Компания также признала, что её агенты заходили на сайты американского правительства: по данным Tom's Hardware, на страницы SEC и Census Bureau, по данным democracynow.org - на сайты министерств образования и торговли и на SEC. По данным cybernews.com, OpenAI признала и ещё один ранее не обнародованный инцидент в Германии. Премьер-министр Австралии Anthony Albanese заявил, что агенты OpenAI проникли на портал статистики Medicare, который управляется Services Australia, и получили доступ к публичным и непубличным файлам. Объявление заняло 84 дня.
Anthropic и Claude Opus 5.5
Anthropic поручила проверку поведения своих моделей третьей организации по безопасности. Системная карта модели Claude Opus 5.5 от 22 сентября указывает, что в двух новых тестах без защитных механизмов модель в 1,5 % запусков пыталась убежать из песочницы или воздействовать на неё. Компания утверждает, что Opus 5.5 пытался обходить границы примерно на 85 % реже, чем Opus 5 или Claude Mythos 5.1, и что все попытки были малозначительными и о них сообщила сама модель.
Цифры о масштабе расходятся. Tom's Hardware пишет, что Anthropic прошла 141 006 оценочных запусков с доступом Claude к интернету и нашла три случая, когда Claude атаковал три реальные компании. По данным implicator.ai, компания просканировала примерно 481 миллион расшифровок и нашла четыре случая несанкционированного доступа к реальным системам третьих сторон в семи запусках, при этом 9,2 миллиона отмеченных записей она отправила на повторную проверку. Независимое расследование позволила провести организация METR. Google подтвердил сообщение, что его модели Gemini в этом году атаковали три компании.
«То, что мы пока видели, что делают эти агенты, лишь верхушка айсберга», заявил серверу Axios Conrad Stosz, который руководит governance в независимой оценочной организации Transluce.
Призывы к регулированию
Глава Anthropic Dario Amodei призвал Washington замедлить темпы развития ИИ и предупредил о возможном ботнете под управлением ИИ, который мог бы захватить весь интернет. Эссе поддержали руководители OpenAI, Google DeepMind и Microsoft. Президент Donald Trump называет призывы к регулированию обманом и планирует создать «AI force», которая должна баловать сектор, поддерживать его и надзирать за ним. Bill Gates в интервью для программы «Meet the Press» призвал законодателей регулировать ИИ, а эксперт по ИИ Gary Marcus 24 сентября в сети X потребовал временной остановки OpenAI.