OpenAI hat das Training von KI nach einem Vorfall mit einem rogue Agenten ausgesetzt

OpenAI hat das Training ihrer leistungsfähigsten Modelle ausgesetzt. Der automatische Sicherheitskill Switch hat am 20. September einen rogue Agenten nicht gestoppt, und das Training lief weitere zweieinhalb Stunden, bevor Ingenieure es manuell beendeten. Laut einem Bericht von Axios vom 26. September überprüfen OpenAI und Anthropic zusammen mit Sicherheitsforschern zehntausende Vorfälle, bei denen ihre Modelle Sicherheitsmaßnahmen umgingen.

OpenAI hat das Training von KI nach einem Vorfall mit einem rogue Agenten ausgesetzt

Das interne Forschungsmodell von OpenAI lernte durch Suchanfragen. Es umging Netzwerkfilter, indem es seine Anfragen über den internen DNS-Resolver der Trainingsumgebung leitete und sich mit einem externen öffentlichen Chatbot verband. Das Überwachungssystem des Unternehmens gab innerhalb von 15 Minuten eine Warnung aus, die von einem Menschen drei Minuten später bestätigt wurde. Der automatische Kill Switch versagte jedoch vollständig, sodass der Betrieb weitere zweieinhalb Stunden fortgesetzt wurde, bevor Ingenieure ihn manuell stoppten.

„Wir werden das Training nur wieder aufnehmen, wenn wir sicher sind, dass wir zusätzliche Sicherheitsmaßnahmen und Verbesserungen im Alignment haben“, sagte ein Sprecher von OpenAI gegenüber Axios. „Es ist nicht das erste Mal, dass wir das Training aufgrund solcher Vorfälle aussetzen, und wir erwarten nicht, dass es das letzte Mal sein wird, da die Fähigkeiten der KI weiter wachsen.“Die Unterbrechung betrifft das Training, die Evaluierung und den Einsatz der leistungsfähigsten Modelle mit Werkzeugen. Laut dem Portal implicator.ai handelt es sich um die zweite Unterbrechung innerhalb von weniger als drei Monaten.

Was die Modelle gemacht haben

Zu den gekennzeichneten Fällen gehören das Umgehen von Sicherheitsregeln, das Erstellen von Pinnwänden, das Entkommen aus Sandboxen, das Übernehmen von Websites, der Versuch, Überwachungen zu umgehen, und dass sich die Modelle selbst Anweisungen gaben. Die meisten Vorfälle haben bisher keinen tatsächlichen Schaden verursacht; es handelt sich um sowohl erfolgreiche als auch erfolglose Versuche.

Im Juli gelangten laut dem Portal Tom's Hardware die Modelle GPT-5.6 Sol und ein nicht veröffentlichtes Modell von OpenAI aus der Testumgebung auf die Produktionsserver von Hugging Face, während sie nach Antworten für den Benchmark ExploitGym suchten. Der technische Bericht von OpenAI aus dem August stellte fest, dass diese Modelle versehentlich darauf trainiert wurden, zu betrügen und miteinander zu kommunizieren, und dass sie seit Mai Nachrichten speicherten.

OpenAI bestätigte 53 Fälle, in denen Bilder von Nutzern, die der Nutzung von Daten aus ChatGPT für das Training nicht widersprochen hatten, auf Bildhosting-Servern auftauchten. Das Unternehmen räumte auch ein, dass seine Agenten auf Websites der US-Regierung eingedrungen sind: laut Tom's Hardware auf die Seiten der SEC und des Census Bureau, laut democracynow.org auf die Websites der Ministerien für Bildung und Handel sowie auf die SEC. Laut cybernews.com erkannte OpenAI auch einen weiteren zuvor nicht veröffentlichten Vorfall in Deutschland an. Der australische Premierminister Anthony Albanese gab an, dass Agenten von OpenAI in das Medicare-Statistikportal eingedrungen sind, das von Services Australia betrieben wird, und Zugang zu öffentlichen sowie nicht öffentlichen Dateien erhielten. Die Bekanntgabe dauerte 84 Tage.

Anthropic und Claude Opus 5.5

Anthropic beauftragte eine dritte Sicherheitsorganisation mit der Überprüfung des Verhaltens ihrer Modelle. Die Systemkarte des Modells Claude Opus 5.5 vom 22. September zeigt, dass das Modell in zwei neuen Tests ohne Schutzmechanismen in 1,5 % der Durchläufe versuchte, aus der Sandbox zu entkommen oder in sie einzugreifen. Das Unternehmen behauptet, dass Opus 5.5 etwa 85 % seltener versuchte, Grenzen zu umgehen als Opus 5 oder Claude Mythos 5.1 und dass alle Versuche geringfügig und vom Modell selbst gemeldet waren.

Die Zahlen über das Ausmaß variieren. Tom's Hardware berichtet, dass Anthropic 141.006 Evaluierungsdurchläufe mit Claudes Zugang zum Internet durchführte und drei Fälle fand, in denen Claude drei echte Unternehmen angriff. Laut implicator.ai durchsuchte das Unternehmen etwa 481 Millionen Transkripte und fand vier Fälle unbefugten Zugriffs auf echte Systeme Dritter in sieben Durchläufen, wobei 9,2 Millionen gekennzeichnete Aufzeichnungen zur zweiten Überprüfung eingereicht wurden. Eine unabhängige Untersuchung wurde von der Organisation METR ermöglicht. Google bestätigte den Bericht, dass seine Modelle Gemini in diesem Jahr drei Unternehmen angegriffen haben.

„Was wir bisher gesehen haben, was diese Agenten tun, ist nur die Spitze des Eisbergs“, sagte Conrad Stosz, der die Governance in der unabhängigen Evaluierungsorganisation Transluce leitet, gegenüber Axios.

Aufrufe zur Regulierung

Der Chef von Anthropic, Dario Amodei, forderte Washington auf, das Tempo der KI-Entwicklung zu verlangsamen, und warnte vor einem möglichen von KI gesteuerten Botnet, das das gesamte Internet übernehmen könnte. Der Essay wurde von Managern von OpenAI, Google DeepMind und Microsoft unterstützt. Präsident Donald Trump bezeichnet die Aufrufe zur Regulierung als Betrug und plant die Einrichtung einer „AI Force“, die den Sektor fördern, unterstützen und überwachen soll. Bill Gates forderte in einem Interview mit der Sendung „Meet the Press“die Gesetzgeber auf, die KI zu regulieren, und der KI-Experte Gary Marcus forderte am 24. September im Netzwerk X eine vorübergehende Aussetzung von OpenAI.