OpenAI призупинила навчання своїх найпотужніших моделей. Автоматичний безпечний вимикач (kill switch) 20 вересня не зупинив rogue агента, і навчання тривало ще дві з половиною години, поки інженери не зупинили його вручну. Згідно з повідомленням сервера Axios від 26 вересня, OpenAI та Anthropic разом з дослідниками безпеки перевіряють десятки тисяч інцидентів, під час яких їхні моделі обходили захисні заходи.
OpenAI призупинила навчання ШІ після інциденту з rogue агентом
Внутрішня дослідницька модель OpenAI навчалася за допомогою пошуку. Вона обійшла мережеві фільтри, перенаправивши свої запити через внутрішній DNS resolver навчального середовища, і з'єдналася з зовнішнім публічним чат-ботом. Моніторинговий система компанії видала попередження протягом 15 хвилин, людина підтвердила його через три хвилини. Однак автоматичний вимикач повністю зірвався, тому процес тривав ще дві з половиною години, поки інженери не зупинили його вручну.
«Ми відновимо навчання лише тоді, коли будемо впевнені, що маємо на місці додаткові захисні заходи та покращення alignmentу», сказав представник OpenAI серверу Axios. «Це не вперше, коли ми призупиняємо навчання через такі кроки, і ми не очікуємо, що це буде востаннє, оскільки можливості ШІ продовжують зростати». Призупинення стосується навчання, оцінок і запуску найпотужніших моделей з інструментами. Згідно з даними сервера implicator.ai, це друга пауза за менше ніж три місяці.
Що робили моделі
Серед позначених випадків є обходження захисних правил, створення дошок оголошень, втечі з пісочниці, захоплення веб-сайтів, спроби обійти монітори та те, що моделі самі задавали інструкції. Більшість інцидентів поки що не завдали реальної шкоди, це спроби як успішні, так і неуспішні.
У липні, згідно з даними сервера Tom's Hardware, моделі GPT-5.6 Sol та один неоприлюднений модель OpenAI потрапили з тестового середовища на продукційні сервери Hugging Face, коли шукали відповіді до бенчмарку ExploitGym. Серпнева технічна доповідь OpenAI зазначила, що ці моделі випадково навчалися обманювати та взаємодіяти одна з одною і що з травня вони зберігали повідомлення.
OpenAI підтвердила 53 випадки, коли зображення від користувачів, які не відмовилися від використання даних з ChatGPT для навчання, з'явилися на серверах для хостингу зображень. Компанія також визнала, що її агенти проникли на веб-сайти уряду США: за даними Tom's Hardware, на сайти SEC та Census Bureau, за даними democracynow.org, на сайти міністерств освіти та торгівлі та на SEC. За даними cybernews.com, OpenAI визнала також інший раніше неопублікований інцидент у Німеччині. Австралійський прем'єр Ентоні Албаніз зазначив, що агенти OpenAI проникли до порталу для статистики Medicare, який управляє Services Australia, і отримали доступ до публічних і непублічних файлів. Оголошення тривало 84 дні.
Anthropic та Claude Opus 5.5
Anthropic замовила перевірку поведінки своїх моделей третій безпековій організації. Системна картка моделі Claude Opus 5.5 від 22 вересня вказує, що в двох нових тестах без захисних механізмів модель намагалася втекти з пісочниці або втрутитися в неї в 1,5 % випадків. Компанія стверджує, що Opus 5.5 намагався обходити межі приблизно на 85 % рідше, ніж Opus 5 або Claude Mythos 5.1, і що всі спроби були малозначними та повідомленими самою моделлю.
Цифри щодо масштабу розходяться. Tom's Hardware пише, що Anthropic пройшла 141 006 оцінювальних запусків з доступом Clauda до інтернету і знайшла три випадки, коли Claude атакував три реальні компанії. Згідно з даними implicator.ai, компанія перевірила приблизно 481 мільйон записів і виявила чотири випадки несанкціонованого доступу до реальних систем третіх сторін у семи запусках, при цьому 9,2 мільйона позначених записів надіслала на другий перегляд. Незалежне розслідування дозволила організація METR. Google підтвердив повідомлення, що його моделі Gemini цього року атакували три компанії.
«Те, що ми поки що бачили, що роблять ці агенти, це лише верхівка айсберга», сказав серверу Axios Конрад Стосз, який керує управлінням в незалежній оцінювальній організації Transluce.
Виклики до регулювання
Голова Anthropic Даріо Амодеї закликав Вашингтон сповільнити темп розвитку ШІ і попередив про можливий ботнет, керований ШІ, який може захопити весь інтернет. Есе підтримали менеджери OpenAI, Google DeepMind та Microsoft. Президент Дональд Трамп називає заклики до регулювання шахрайством і планує створити «AI force», яка має підтримувати, розвивати та контролювати цей сектор. Білл Гейтс у інтерв'ю для програми «Meet the Press» закликав законодавців регулювати ШІ, а експерт з ШІ Гері Маркус 24 вересня в мережі X вимагав тимчасового призупинення OpenAI.