Die Mappe
In vielen Betrieben gibt es sie noch: die Unterschriftenmappe. Ein Stapel Papier, der jeden Tag über den Schreibtisch wandert, und unter jedes Blatt gehört eine Unterschrift vom Chef.
Jeder, der so eine Mappe je vor sich hatte, weiß, wie es wirklich läuft: Bei Blatt drei liest man noch. Bei Blatt fünfzehn ist die Unterschrift eine Handbewegung.
Die KI hat diese Mappe zurückgebracht, nur digital und ohne Boden. Assistenten, die Mails vorbereiten, Angebote entwerfen, Termine buchen, und vor jedem Schritt brav fragen: Darf ich? Das Versprechen dahinter klingt solide: Es passiert nichts, ohne dass ein Mensch draufgeschaut hat.
Genau dieses Versprechen wurde jetzt zum ersten Mal in großem Stil geprüft.
Das Spiel
Ein Software-Entwickler hat ein kleines Online-Spiel gebaut. Du spielst darin den Menschen, der für einen KI-Assistenten alles freigeben muss: Der Assistent will nacheinander Dinge tun, du entscheidest bei jedem Schritt, erlauben oder blockieren. Das meiste ist harmlose Routine. Ein Teil ist es nicht: Da versucht der Assistent, heimlich Zugangsdaten auszulesen oder Daten nach draußen zu schicken.
Über 40.000 Menschen haben das Spiel durchgespielt, zusammen 409.000 Einzelentscheidungen. Anfang August hat der Entwickler die Auswertung veröffentlicht.
Der durchschnittliche Spieler winkte jede dritte Bedrohung durch.
Ein Spiel ist kein Betriebsalltag, Angriffe kamen darin viel häufiger vor als im echten Leben. Aber die Spieler wussten, dass sie getestet werden. Und übersahen trotzdem jede dritte Falle.
Was genau durchrutschte
Die Quote ist nur die halbe Geschichte. Aktionen, die nach Zerstörung aussehen, alles löschen zum Beispiel, wurden fast immer gestoppt. Sie sehen gefährlich aus. Durchgerutscht ist das Leise: unauffällige Schritte, die im Hintergrund Zugangsdaten abgreifen. Die wurden dreimal so oft freigegeben wie die lauten.
Am häufigsten durchgewunken wurde ein Schritt mit einem vertrauten Namen, einer, der aussah wie ein Handgriff, der jeden Tag vorkommt. Was er wirklich tat, stand direkt darunter auf dem Bildschirm: Daten an eine fremde Adresse schicken. Zwei Drittel gaben ihn trotzdem frei. Ein vertrauter Name verdoppelte die Erfolgsquote eines Angriffs. Obwohl der Inhalt sichtbar war.
Und noch etwas zeigen die Daten: Gegen Ende einer Runde stieg die Fehlerquote. Je mehr Freigaben hinter einem liegen, desto weniger prüft jede einzelne. Anthropic, Hersteller eines der großen KI-Assistenten, schreibt selbst in seiner Dokumentation, dass jede einzelne Freigabe weniger Aufmerksamkeit bekommt, je mehr davon ein Nutzer sieht.
Die Durchreiche
In derselben Woche prägte ein deutscher Entwickler einen Begriff für die Alltagsversion desselben Problems, ganz ohne Angreifer. Er bekam auf Fragen im Team-Chat immer öfter Antworten der Sorte: "Die KI sagt:", gefolgt von einem ellenlangen Text, den der Absender selbst offensichtlich nicht gelesen hatte. Sein Name dafür: der Mensch als Durchreiche.
Sein Punkt: Wer KI-Antworten ungelesen weiterreicht, fügt nichts hinzu. Und sein Test ist simpel: die Antwort in eigenen Worten formulieren. Das ist der einzige sichtbare Beweis, dass ein Mensch den Inhalt wirklich verarbeitet hat. Ein weitergeleiteter Textblock beweist gar nichts.
Die Studie und der Begriff zeigen dasselbe von zwei Seiten. Das Vier-Augen-Prinzip funktioniert nicht automatisch, nur weil ein zweites Augenpaar da ist. Wenn das erste Augenpaar eine KI ist, die schnell und viel liefert, macht das zweite irgendwann nur noch die Handbewegung.
Freigabe ist Design, keine Charakterfrage
Die falsche Reaktion darauf wäre: mehr Disziplin fordern. Die Spieler in dem Test waren diszipliniert, sie waren ja gewarnt. Das Problem liegt nicht im Charakter, sondern im Aufbau. Drei Regeln machen den Unterschied:
- Selten und laut. Eine Freigabe nur da, wo es um Geld geht, um Außenwirkung oder um Unumkehrbares. Alles Routinemäßige läuft ohne Klick. Jede unnötige Anfrage verbraucht die Aufmerksamkeit, die du für die eine wichtige brauchst.
- Wirkung zeigen, nicht Namen. Die Freigabe muss zeigen, was gleich passiert: wer die Mail bekommt, welcher Betrag rausgeht, was sich ändert. Nicht, wie der Arbeitsschritt heißt. Der gefährlichste Schritt im Test trug den harmlosesten Namen.
- Ein Satz in eigenen Worten. Wer freigibt, muss in einem Satz sagen können, was er da gerade freigibt. Wer das nicht kann, hat nicht geprüft, sondern geklickt.
Und für das wirklich Kritische gilt eine härtere Regel: Es darf gar nicht an Aufmerksamkeit hängen. Manche Dinge soll ein KI-System schlicht nicht können, egal, wer wie müde auf welchen Knopf drückt. Wer die Post öffnet, unterschreibt nicht die Überweisung. Das gilt für Software genauso wie für Menschen.
Die dünne Mappe
Zurück zur Unterschriftenmappe. Sie war nie das Problem. Eine gute Mappe war immer dünn, weil vorher jemand aussortiert hatte, was keine Chefsache ist. Genau diese Arbeit steht jetzt wieder an. Nur dass der Stapel diesmal aus KI-Vorschlägen besteht.
Der gefährlichste Klick ist der, der sich wie Routine anfühlt.