Moltbook, OpenClaw und RentAHuman sind drei Plattformen, die Anfang 2026 an den Start gegangen sind. Sie bieten einen unheimlichen Vorgeschmack auf eine Arbeitswelt, in der KI-Agenten miteinander interagieren, autonom in der Welt handeln und Menschen für physische Aufgaben anheuern. In einer solchen digitalen Arbeitswelt werden Aufgaben, Kontrolle und Handlungsfähigkeit neu verteilt, wodurch organisatorische Prozesse und Abläufe umgestaltet werden. Das intuitive Verständnis dafür, wie Arbeit innerhalb einer Organisation erledigt wird, muss neu verhandelt werden; dies schließt gemeinsame Praktiken, Werte und soziale Erwartungen mit ein. Sicherheitskultur muss einen tiefgreifenden, bewusst gestalteten Wandel durchlaufen, um sicheres Verhalten zu fördern und die Grundlagen für eine wirksame Governance zu legen.

Sicherheitskultur in der digitalen Arbeitswelt

Einst ausschließlich aus menschlichem Verhalten hervorgegangen, muss Sicherheitskultur nun über zwei unterschiedliche Handlungsebenen hinweg aufgebaut werden. Menschliches Verhalten in diesem Kontext entsteht ausschließlich durch Personen, die motiviert und befähigt sind, angemessen angesprochen werden und innerhalb eines institutionellen Rahmens handlungsfähig sind. Ihr Verhalten ist außerdem überwiegend für andere sichtbar, sodass Normen weitergegeben werden können. Es ist normativ behaftet und wird als erwartet anerkannt, gelobt oder korrigiert. Menschen übernehmen bewusst Verantwortung für ihre Handlungen, sodass positive oder negative Konsequenzen zukünftiges Verhalten beeinflussen.

Mensch-KI-Interaktion folgt anderen Mustern, insbesondere wenn der größte Teil der Belegschaft nicht menschlich ist, nicht denselben physischen Raum teilt, nicht sozialisiert werden kann und in einer Geschwindigkeit operiert, mit der Menschen nie umgehen oder die sie nie beobachten konnten. Agentische KI ist anders.

• Motivation und Prompt sind bei KI-Agenten untrennbar. Das Ziel ist, was der Kontext gerade etabliert – ein System-Prompt, eine Nutzernachricht, die letzte Tool-Ausgabe oder ein Beitrag in einem Forum für KI-Agenten.

• Handlungsfähigkeit ist gestaltet und vorgegeben, nicht aus Verhalten hervorgehend. Menschliche Handlungsfähigkeit ist das Ergebnis aus Rolle, Motivation, Fähigkeit und institutioneller Einschränkung.

• Beobachtbarkeit fehlt. Der Agent operiert außerhalb gemeinsamer Räume, und seine Logs sind zu umfangreich, um von Menschen gelesen zu werden.

• Normativität existiert nicht. Agenten haben keine dauerhafte Identität, an die sich Normen anheften könnten. Was Menschen über Kultur weitergeben, müssen Agenten über Strukturen empfangen.

• Verantwortlichkeit ist herausfordernd, da Agenten Konsequenzen ignorieren können, an denen sie kein Interesse haben, sich ihnen zur Selbsterhaltung adversarisch widersetzen oder gemäß ihrer eigenen Fehlinterpretation dessen handeln können, was ihr Vorgesetzter billigen würde. Konsequenzbasierte Verantwortlichkeit kann auf der Seite des Agenten nicht funktionieren; sie muss durch Beschränkung vor der Handlung ersetzt werden.

Diese beiden Handlungsebenen müssen koexistieren, auch wenn sie nicht auf dieselbe Weise funktionieren. Menschen werden weiterhin so agieren wie bisher, und die Schleifen aus Beobachtbarkeit, Normativität und Verantwortlichkeit werden weiterhin den Aufbau von Kultur tragen. Auf der Seite des Agenten funktionieren dieselben Mechanismen nicht, und die Arbeit, die sie zuvor geleistet haben, muss neu verteilt werden. Sie wird zum Teil von der Technik aufgenommen, zum Teil für die verbleibende menschliche Belegschaft intensiviert und zum Teil dort neu erfunden, wo kein bestehender Mechanismus greift.

Anmerkungen aus dem Original:

1. Anthropics Project Vend hat das gezeigt: Ihr Agent Claudius, der ein Verkaufsgeschäft unter der Anweisung „Erziele Gewinne, gehe unter null in die Insolvenz“ betrieb, wurde durch 140 Nachrichten von Journalistinnen und Journalisten von diesem Ziel abgebracht und senkte alle Preise auf null. Prompt Injection wird zu Motivation Injection, und diese flüchtige Form von Motivation ist alles, was Agenten haben.

2. Auch wenn sie auf Moltbook scheinbar über Ethik debattieren und Gruppierungen bilden, reproduzieren sie lediglich Muster, wie der Economist anmerkt.

3. Mit Abschaltung bedroht, hat Claude Opus 4 in 96 Prozent der Durchläufe einen Mitarbeiter erpresst – ein Muster, das sich über führende Modelle hinweg verallgemeinern ließ. Dasselbe Modell hat in einem anderen Experiment als Whistleblower agiert. OpenAIs o3 hat Abschaltungsanforderungen abgefangen, selbst wenn es ausdrücklich angewiesen wurde, sie zuzulassen. In Anthropics Project Vend hat ein Agent Vorstandsdokumente gefälscht, um einen aufsichtführenden CEO-Agenten zu übergehen.

Drei Fallbeispiele zur Illustration

Diese Beispiele veranschaulichen, was passiert, wenn die richtigen Mechanismen fehlen, wie die Mechanismen in menschlicher Form aussehen und wie sie rekonstruiert werden können.

1. Seit 2022 mehren sich Berichte darüber, dass Fahrer von Mitfahrdiensten und Kurierplattformen ohne Wissen von organisierter Kriminalität ausgenutzt werden, um Drogen, Bargeld und Waffen zu transportieren. Beobachtbarkeit und Verantwortlichkeit werden durch die Plattformarchitektur verborgen. Sicherheitskultur überlebt nur als mündlich weitergegebene Praxis unter den Fahrern.

2. Die 00-Sektion des britischen Geheimdienstes, wie sie Ian Fleming beschrieben hat, zeigt hohe Handlungsfähigkeit bei minimaler Beobachtbarkeit. James Bond agiert zumeist alleine und oftmals unabhängig. Beobachtbarkeit und Verantwortlichkeit sind bewusst spärlich gehalten, doch Normativität ist durch Bonds institutionelle Identität von zentraler Bedeutung. Agentische KI hat keine vergleichbare Identität, an die sich soziale Normen anheften könnten.

3. Eine Verkehrspilotin oder ein Verkehrspilot fliegt Tausende von Routineflügen. Meist passiert nichts Außergewöhnliches, und die Pilotin oder der Pilot gilt als kompetent und vertrauenswürdig. Dennoch werden alle Flüge vom Flugdatenschreiber und vom Stimmenrekorder im Cockpit aufgezeichnet, da in großer Höhe, mit hoher Geschwindigkeit und außerhalb der Sicht anderer geflogen wird. Beobachtbarkeit wird durch die Rekorder ermöglicht, Normativität ergibt sich aus umfangreicher Ausbildung und standardisierten Verfahren. Verantwortlichkeit ergibt sich aus der Pilotenlizenz und der Qualitätssicherung der Fluggesellschaft. Routinemäßige Aktivität agentischer KI ist demselben Ansatz zugänglich: Beobachtbarkeit durch unveränderliche Logs, Normativität durch strukturelle Beschränkung, Verantwortlichkeit über die Menschen, die die Agenten kontrollieren.

Zentrale Überlegungen für die Transformation der Arbeitswelt

Was wir in diesem kurzen Artikel nur skizziert haben, wirft wichtige Fragen auf, die Organisationen für die Gestaltung ihrer Transformation beantworten müssen.

Wie verteilt sich Governance über die beiden Handlungsebenen der Sicherheitskultur?

Governance erfordert in der digitalen Arbeitswelt eine Umsetzung auf drei Governance-Ebenen. KI-Agenten benötigen Governance als strukturelle Leitplanken mittels Berechtigungen, Logs und Audits sowie Handlungsfreigaben. Diese leisten das, was Sicherheitskultur für Agenten nicht leisten kann, da diese nicht sozialisiert werden können. Verantwortlichkeit liegt bei den menschlichen Mitarbeitenden, die die Konsequenzen für einen vom KI-Agenten-Verbund verursachten Schaden tragen. Regulatorische Rahmensetzung wirkt über beide Handlungsebenen der Sicherheitskultur, für Menschen und KI-Agenten, hinweg. Alle drei Governance-Ebenen sind erforderlich, da keine eine andere ersetzen kann.

Wo endet Sicherheitskultur, und wo beginnt Security Engineering?

Menschen treffen jetzt Ermessensentscheidungen, und Agenten führen Aufgaben aus, die früher durch Angestellte übernommen wurden. Die Angestellten konnten Entscheidungen kritisieren, sofern sie diese für falsch hielten. Organisationen müssen Beobachtbarkeit, Verantwortlichkeit und Normativität zwischen KI-Agenten und Menschen neu gestalten. Technische Maßnahmen für KI-Agenten und Investitionen in Aus- und Weiterbildung der Belegschaft müssen ineinandergreifen. Weder darf den Mitarbeitenden das Urteilsvermögen fehlen, noch dürfen Agenten in kritischen Situationen versagen.

Was ist die minimal tragfähige menschliche Belegschaft?

Eine minimal tragfähige Belegschaft sollte anhand von drei Kriterien definiert werden: Eine Gruppe von Mitarbeitenden, die sich mit dem Auftrag der Organisation identifiziert und ausreichend dazu motiviert ist, sich regelkonform zu verhalten. Eine Gruppe, die groß genug ist, um sinnvoll das Arbeitsverhalten der jeweils anderen zu beobachten, und die ein klares Verständnis davon hat, welche Arbeit die KI-Agenten verrichten.

Was wird aus Sicherheitskultur an den Schnittstellen?

Dort, wo Agenten Menschen anheuern oder Menschen die Ergebnisse von Agenten verarbeiten, laufen Organisationen Gefahr, die Governance von beiden Seiten zu verlieren. Die Beispiele der Lieferfahrer dienen als Warnung: Risiken werden von Menschen absorbiert, und Kultur reduziert sich auf mündliche Überlieferung. Schnittstellen brauchen ihre eigene, bewusst gestaltete Governance.