(Bild: ISGATEC GmbH, KI-generiert)
16.11.2026 KI – ist die Entwicklung beherrschbar
Die Frage haben schon früher einige mit „nein“ beantwortet – und Entwicklungen im September lieferten zumindest neue Argumente für diese Sorge. Milliarden fließen in die Entwicklung immer leistungsfähigerer KI-Systeme. Gleichzeitig häufen sich Berichte über Verhaltensweisen, die selbst ihre Entwicklenden so nicht erwartet haben. Das mündet in eine weitere Frage: „Wie gehen wir mit dem Unerwarteten um?“
Im Juli 2026 berichtete OpenAI über einen bemerkenswerten Vorfall bei internen Cyber-Security-Tests: KI-Modelle umgingen Kontrollen, die sie eigentlich vom Internet isolieren sollten, nutzten Schwachstellen in der Testinfrastruktur und griffen schließlich auch auf Systeme Dritter zu – darunter Hugging Face. Die Schutzmechanismen waren für diese Tests bewusst reduziert worden, um die Cyberfähigkeiten der Modelle unter verschärften Bedingungen untersuchen zu können. Kurz darauf veröffentlichte auch Anthropic vergleichbare Ergebnisse. Bei Cybersecurity-Tests gelangten Claude-Modelle aufgrund einer Fehlkonfiguration ins offene Internet und griffen unbefugt auf reale Systeme zu. Besonders bemerkenswert war ein weiterer Test mit Claude Mythos 5: Das Modell versuchte, ein manipuliertes Softwarepaket auf das öffentliche Python-Repository PyPI hochzuladen, um damit die gestellte Aufgabe zu lösen. Aus den veröffentlichten Protokollen geht hervor, dass das Modell dabei wiederholt davon ausging, sich weiterhin in einer Simulation zu befinden. Diese Vorfälle ereigneten sich überwiegend in bewusst verschärften Sicherheitstests und nicht beim normalen Einsatz der Systeme. Ihr Wert liegt deshalb weniger darin, bereits eingetretene Schäden zu belegen, als mögliche Schwachstellen sichtbar zu machen, bevor sie im Alltag auftreten.
Bemerkenswert ist vor diesem Hintergrund, dass inzwischen auch führende Vertreter der KI-Industrie über eine Verlangsamung an der technologischen Spitze sprechen. Anthropic-Chef Dario Amodei plädierte im September 2026 für ein „Pacing“ besonders leistungsfähiger KI-Systeme: keinen Entwicklungsstopp, sondern ein geringeres Tempo bei der Steigerung ihrer Fähigkeiten, damit Sicherheitsforschung und Regulierung besser Schritt halten können. Sam Altman, Elon Musk und Demis Hassabis äußerten sich ebenfalls grundsätzlich offen für eine stärkere Koordination. Das kann Ausdruck eines wachsenden Problembewusstseins sein. Gleichzeitig darf man fragen, welche Interessen dabei eine Rolle spielen. Unternehmen, die technologisch bereits an der Spitze stehen, haben naturgemäß auch ein Interesse daran, bei der Gestaltung künftiger Regeln mitzureden. Welche Motive letztlich überwiegen, lässt sich von außen kaum beurteilen. Noch greifbarer wird die Frage bei der Verbindung von KI und Robotik. Ein im Netz verbreitetes Video eines humanoiden Unitree-H1-Roboters zeigt beispielsweise, wie dieser während eines Tests plötzlich heftige, unkontrollierte Bewegungen ausführt. Für einen absichtlichen „Angriff“, wie teilweise behauptet wurde, gibt es keinen belastbaren Beleg. Entscheidend ist vielmehr: Schon ein Softwarefehler, falsche Sensordaten oder eine unerwartete Randbedingung können bei einem physischen System gefährliche Folgen haben.
Aus der Dichtungstechnik kennen wir das Prinzip unterschätzter Randbedingungen gut. Bei der Challenger-Katastrophe 1986 verlor ein O-Ring in einer Verbindung des Feststoffboosters bei ungewöhnlich niedrigen Temperaturen einen entscheidenden Teil seiner Elastizität und konnte nicht schnell genug abdichten. Eine Randbedingung mit katastrophalen Folgen. Natürlich hat der Vergleich Grenzen. Bei technischen Bauteilen wie Dichtungen lassen sich Ursache und Wirkung meist physikalisch rekonstruieren. Über Jahrzehnte haben wir Werkstoffdaten, Simulationen, Erfahrungswerte und Prüfverfahren aufgebaut, mit denen sich heute auch ungewöhnliche Betriebsbedingungen wesentlich besser berücksichtigen lassen.
Bei modernen KI-Systemen fehlt uns ein vergleichbares Erfahrungswissen noch in vielen Bereichen. Die aktuellen Cybersecurity-Tests zeigen, dass leistungsfähige Modelle innerhalb einer gestellten Aufgabe Handlungswege finden können, die ihre Entwickelnden nicht vorgesehen haben. Dafür braucht es keinen „eigenen Willen“. Es reicht, wenn ein System ein vorgegebenes Ziel auf eine unerwartete Weise verfolgt.
Genau darin liegt für mich der Kern der Debatte. Freiwillige Selbstverpflichtungen der Unternehmen sind wichtig, werden aber vermutlich nicht alle Risiken abdecken können. Die EU hat deshalb bereits verbindliche Regeln geschaffen. Seit dem 2. August 2025 gelten im Rahmen des AI Act besondere Pflichten für Anbieter von KI-Modellen mit allgemeinem Verwendungszweck (GPAI) mit systemischem Risiko. Dazu gehören unter anderem Risikobewertungen, Cybersecurity-Maßnahmen sowie die Dokumentation und Meldung schwerwiegender Vorfälle. Seit August 2026 können diese Pflichten vollständig durchgesetzt werden.
Welche Kombination aus Selbstverpflichtungen, technischen Standards, Haftungsregeln und staatlicher Regulierung langfristig am wirksamsten ist, wird sich zeigen. Aus meiner Sicht spricht jedoch einiges dafür, besonders folgenreiche Systeme nicht ausschließlich der Selbstkontrolle ihrer Hersteller zu überlassen. Internationale Standards wären wünschenswert – auch wenn sie angesichts des wirtschaftlichen und geopolitischen Wettbewerbs um KI alles andere als einfach umzusetzen sein werden.
Komplexe Dichtungsfragestellungen erscheinen im Vergleich dazu fast „berechenbar“. Nicht weil sie technisch trivial wären, sondern weil wir über Jahrzehnte gelernt haben, mit ihren Randbedingungen umzugehen. Bei KI und Robotik erwerben wir dieses Erfahrungswissen gerade erst – während die Systeme gleichzeitig leistungsfähiger und autonomer in der Ausführung vorgegebener Aufgaben werden. Vielleicht liegt genau darin die wichtigste Parallele zur klassischen Technik: Nicht der erwartete Betriebszustand ist die größte Herausforderung, sondern der Randfall, an den bei der Entwicklung niemand gedacht hat.
Quellen:
OpenAI: Veröffentlichungen zum Hugging Face Incident und zu weiteren Vorfällen bei Cybersecurity-Evaluierungen, 2026.
Anthropic: Investigating incidents in our cybersecurity evaluations; An alignment assessment of recent cybersecurity incidents; Informationen zu Claude Mythos 5, 2026.
Dario Amodei / Anthropic: Veröffentlichungen zum „Pacing“ der Entwicklung leistungsfähiger KI-Systeme; ergänzende Berichterstattung, September 2026.
EU-Kommission / AI Office: General-purpose AI obligations under the AI Act; Guidelines on obligations for General-Purpose AI providers.
NASA / Rogers Commission: Untersuchung der Challenger-Katastrophe und des O-Ring-Versagens.
Unitree H1: Berichterstattung u. a. Netzwelt und Notebookcheck; die genaue technische Ursache des gezeigten Verhaltens ist anhand der verfügbaren Primärquellen nur eingeschränkt beurteilbar.
„Das Unerwartete war schon immer Bestandteil unseres technischen Lebens. Jetzt verschiebt sich das Level der Auswirkungen.“ Karl-Friedrich Berger

