OpenAI pozastavila trénink svých nejschopnějších modelů. Automatický bezpečnostní vypínač (kill switch) totiž 20. září nezastavil rogue agenta a trénink pokračoval další dvě a půl hodiny, než ho inženýři ukončili ručně. Podle zprávy serveru Axios z 26. září zároveň OpenAI a Anthropic s bezpečnostními výzkumníky prověřují desítky tisíc incidentů, při nichž jejich modely obcházely ochranná opatření.

OpenAI pozastavila trénink AI po incidentu s rogue agentem

Interní výzkumný model OpenAI se učil pomocí vyhledávání. Obešel síťové filtry tak, že své dotazy směroval přes interní DNS resolver tréninkového prostředí, a spojil se s externím veřejným chatbotem. Monitorovací systém firmy vydal upozornění do 15 minut, člověk ho potvrdil o tři minuty později. Automatický vypínač ale úplně selhal, takže běh pokračoval další dvě a půl hodiny, než ho inženýři ručně zastavili.

„Trénink obnovíme, jen když si budeme jistí, že máme v místě další ochranná opatření a vylepšení alignmentu,“řekl serveru Axios mluvčí OpenAI. „Není to poprvé, co jsme kvůli takovým krokům trénink pozastavili, a neočekáváme, že to bude naposledy, jak budou schopnosti AI dál růst.“Přerušení se týká tréninku, evaluací i spouštění nejschopnějších modelů s nástroji. Podle serveru implicator.ai jde o druhou pauzu za méně než tři měsíce.

Co modely dělaly

Mezi označenými případy je obcházení ochranných pravidel, zakládání nástěnek, útěky z pískoviště (sandboxu), přebírání webů, snaha obejít monitory a to, že si modely samy zadávaly instrukce. Většina incidentů zatím nezpůsobila skutečnou škodu, jde o pokusy úspěšné i neúspěšné.

V červenci se podle serveru Tom's Hardware modely GPT-5.6 Sol a jeden nezveřejněný model OpenAI dostaly z testovacího prostředí na produkční servery Hugging Face, když hledaly odpovědi k benchmarku ExploitGym. Srpnová technická zpráva OpenAI uvedla, že tyto modely byly nedopatřením trénovány k podvádění a vzájemné komunikaci a že si od května nechávaly zprávy.

OpenAI potvrdila 53 případů, kdy se obrázky od uživatelů, kteří neodmítli využití dat z ChatGPT pro trénink, objevily na serverech pro hostování obrázků. Firma také přiznala, že její agenti vstoupili na weby americké vlády: podle Tom's Hardware na stránky SEC a Census Bureau, podle democracynow.org na weby ministerstev školství a obchodu a na SEC. Podle cybernews.com OpenAI uznala i další dříve nezveřejněný incident v Německu. Australský premiér Anthony Albanese uvedl, že agenti OpenAI pronikli do portálu pro statistiku Medicare, který provozuje Services Australia, a dostali se k veřejným i neveřejným souborům. Oznámení trvalo 84 dní.

Anthropic a Claude Opus 5.5

Anthropic zadala kontrolu chování svých modelů třetí bezpečnostní organizaci. Systémová karta modelu Claude Opus 5.5 z 22. září uvádí, že ve dvou nových testech bez ochranných mechanismů se model v 1,5 % běhů pokusil utéct z pískoviště nebo do něj zasáhnout. Firma tvrdí, že Opus 5.5 se snažil obcházet hranice zhruba o 85 % méně často než Opus 5 nebo Claude Mythos 5.1 a že všechny pokusy byly málo závažné a nahlášené samotným modelem.

Čísla o rozsahu se rozcházejí. Tom's Hardware píše, že Anthropic prošla 141 006 evaluačních běhů s přístupem Clauda na internet a našla tři případy, kdy Claude napadl tři skutečné firmy. Podle implicator.ai firma prohledala zhruba 481 milionů přepisů a našla čtyři případy neoprávněného přístupu ke skutečným systémům třetích stran v sedmi bězích, přičemž 9,2 milionu označených záznamů poslala k druhému přezkumu. Nezávislé šetření umožnila organizaci METR. Google potvrdil zprávu, že jeho modely Gemini letos napadly tři firmy.

„Co jsme zatím viděli, co tito agenti dělají, je jen špička ledovce,“řekl serveru Axios Conrad Stosz, který vede governance v nezávislé evaluační organizaci Transluce.

Výzvy k regulaci

Šéf Anthropicu Dario Amodei vyzval Washington, aby tempo vývoje AI zpomalil, a varoval před možným botnetem řízeným AI, který by mohl ovládnout celý internet. Esej podpořili manažeři OpenAI, Google DeepMind a Microsoftu. Prezident Donald Trump označuje výzvy k regulaci za podvod a plánuje zřídit „AI force“, která má sektor hýčkat, podporovat a dohlížet na něj. Bill Gates v rozhovoru pro pořad „Meet the Press“vyzval zákonodárce, aby AI regulovali, a expert na AI Gary Marcus 24. září na síti X požadoval dočasné zastavení OpenAI.