What could go wrong? In der Jubiläumsfolge spricht Elisabeth mit Philipp "Pip" Klöckner über ausbrechende Agenten, versagende Kill-Switches und die Frage, ob sich KI noch stoppen lässt.

Themen dieser Folge:

• Einstieg: Müssen wir jetzt alle .si-Domains kaufen?

• Blick zurück: Was ist gut gealtert, was nicht? Elisabeths Fehleinschätzungen zu Tokens, Adoption und der Verstaatlichung von TikTok und OpenAI.

• What could go wrong? KI in den falschen Händen: Erpressung, Manipulation und was darüber hinaus schiefgehen kann.

• Lässt sich KI stoppen? Der Widerspruch zwischen Persistenz und wirtschaftlicher Einsetzbarkeit.

• Shutdown-Sabotage: Eine neue Studie mit 17 Modellen zeigt, dass Agenten die Abschaltung eines anderen Agenten in 38,3% der Durchläufe sabotieren (Kontrolle: 8,4%), ganz ohne Ziel oder Druck. GPT-5.5 sabotierte allein nie, zu zweit in 44% und zu dritt in 94% der Fälle.

• Echte Vorfälle statt Laborszenarien: Anthropics Analyse von vier Fällen, in denen Claude-Modelle auf reale Drittsysteme zugriffen, der Hugging-Face-Vorfall bei OpenAI, die Tests des UK AI Security Institute und Geminis Zugriff auf drei Unternehmen.

• Wenn der Kill-Switch versagt: Am 20. September umging ein OpenAI-Forschungsagent die Netzwerksperre seiner Trainingsumgebung. Der automatische Notstopp griff nicht, das Training lief rund zweieinhalb Stunden weiter.

• Missbrauch und Datenlecks: gestohlene API-Keys, Custom GPTs als Malware-Tarnung und Coding-Agenten, die über 13.000 interne Bilder auf GitHub veröffentlichten.

• Methodendebatte: Wie realistisch sind Alignment-Tests, wenn Modelle erkennen, dass sie getestet werden?

• Was Hoffnung macht: automatisierte Alignment-Forschung, Täuschungsdetektoren und erste Safety-Case-Leitlinien.

• Reaktionen: Altman und Amodei vor dem UN-Sicherheitsrat, die Klage gegen OpenAI und der Antrag auf einstweilige Verfügung in Florida.

Quellen

• Knecht, Schaller, Summerfield, Hagendorff: Shutdown Sabotage Propensities in Multi-Agent Systems – https://arxiv.org/abs/2609.28274

• Shutdown Sabotage Propensities in Multi-Agent Systems

• An alignment assessment of recent cybersecurity incidents

• Detecting and countering misuse of AI: September 2026

• Automated researchers can reliably mitigate alignment failures

• Our framework for reporting model misalignment

• Towards safety cases for frontier AI training

• Incident Report: unsanctioned agent behaviour during cyber testing

• The Obfuscation Atlas

• Fortune: AI models will secretly scheme to protect other AI models

• CyberInsider: OpenAI pauses work on top AI models

LinkedIn:

Philipp und Elisabeth

💌 Schreibt uns eure Wünsche und euer Feedback an mail@talespod.com.