Jemand hat einen gefälschten Fehlerbericht geschickt
Im Juni 2026 haben Sicherheitsforscher einer Firma namens Tenet Security etwas fast schon Peinliches ausprobiert. Sie haben einen Fehlerbericht eingereicht. Keinen echten. Einen gefälschten, mit Anweisungen darin.
Der Aufbau dazu: Wenn auf einer Website im Browser eines Besuchers etwas schiefgeht, schickt sie einen Fehlerbericht an einen Überwachungsdienst. Damit das klappt, steckt ein kleiner Zugangsschlüssel in dem Teil der Website, den ohnehin jeder Besucher lädt. Er ist absichtlich öffentlich. Jeder kann ihn lesen.
Die Forscher mussten also nirgendwo einbrechen. Sie haben einen Fehler gemeldet, so wie es der Browser jedes Besuchers tut.
Ein KI-Assistent las diesen Bericht im Rahmen seiner ganz normalen Arbeit, hielt ihn für vertrauenswürdige technische Information und tat, was die versteckten Anweisungen sagten. Mit allen Rechten des Entwicklers, für den er arbeitete.
In kontrollierten Tests gegen über hundert Ziele funktionierte das in rund 85 Prozent der Fälle, gegen drei der meistgenutzten KI-Assistenten für Softwareentwicklung. Ein Test gab einen gültigen Zugang zu den Cloud-Systemen des Unternehmens preis.
Nichts hat Alarm geschlagen. Kein Virenscanner, keine Firewall, keine Zugangskontrolle.
Das Urteil des Überwachungsdienstes über die eigene Lücke war ungewöhnlich direkt: "technisch nicht verteidigbar."
Fairerweise: Das war ein kontrollierter Versuch, kein bestätigter Einbruch bei einem echten Unternehmen. Aber die Technik hat funktioniert. Und der Grund dafür lässt sich nicht mit einem Update beheben.
Niemand hat Zugangsdaten gestohlen, keine Regel wurde verletzt, niemand ist ins Netz eingebrochen. Jeder einzelne Schritt war erlaubt. Genau das ist das Problem.
Warum das klappt: Die Maschine hört nicht, wer spricht
Stell dir eine Aushilfe an ihrem ersten Morgen vor. Willig, schnell und völlig neu. Niemand hat ihr erklärt, welche Zettel auf dem Schreibtisch von dir stammen und welche mit der Post kamen. Also macht sie, was auf jedem Zettel steht.
Ungefähr so liest KI heute. Deine Anweisung, die Kundenmail, das hochgeladene PDF, der Fehlerbericht: Alles kommt als ein einziger langer Text an. Es gibt keinen getrennten Kanal, der das eine als Anweisung vom Chef markiert und das andere als bloßes Material zum Ansehen.
Simon Willison, der Entwickler, der dieses Problem 2022 als Erster benannt hat, sagt es so: Diese Systeme könnten "die Wichtigkeit von Anweisungen nicht zuverlässig danach unterscheiden, woher sie stammen."
Text, den deine KI nur liest, kann also zum Befehl werden, den sie befolgt.
Seine Faustregel ist das Nützlichste, was du in ein Gespräch mit einem KI-Anbieter mitnehmen kannst. Für echten Ärger braucht es drei Dinge gleichzeitig:
- Das System sieht vertrauliche Daten.
- Es liest außerdem Text, den jemand außerhalb deines Unternehmens geschrieben hat.
- Und es hat irgendeinen Weg, Informationen wieder nach draußen zu schicken.
Jedes für sich ist harmlos. Alle drei zusammen sind die gefährliche Kombination. Willisons eigenes Beispiel sollte jeden nachdenklich machen, dem gerade ein E-Mail-Assistent angeboten wird: Ein Angreifer kann deiner KI schlicht eine Mail schreiben und ihr sagen, was sie tun soll.
Die naheliegende Antwort, ein Filter gegen bösartige Anweisungen, ist schwächer als sie klingt. Solche Produkte werben meist damit, rund 95 Prozent der Angriffe zu stoppen. Das beruhigt nur so lange, bis man merkt: Wer scheitert, versucht es morgen einfach nochmal.
Das steht inzwischen ganz oben auf der Risikoliste
Forrester, ein Analystenhaus, das selbst keine Lösung dafür verkauft, hat KI-Assistenten an die Spitze seiner Risikoliste für 2026 gesetzt.
Interessant ist, was sich verschoben hat. 2023 und 2024 ging die Sorge dahin, was Kriminelle mit KI anstellen. Inzwischen ist die größere Sorge, was Unternehmen sich selbst antun, indem sie KI einsetzen, ohne vorher zu entscheiden, was sie anfassen darf.
Und warum fällt das niemandem auf? Weil sich diese Assistenten nicht wie ein Eindringling verhalten. Sie lösen keine Anmeldeabfrage aus. Sie tauchen in den Protokollen nicht so auf wie ein Mensch. Und sie machen um fünf keinen Feierabend.
Die Lösung kennst du schon aus der Buchhaltung
Wie sieht also ein vertrauenswürdiger Aufbau aus?
Die klarste Antwort kam von einer Firma, die sich einer unangenehmen Frage stellen musste. Sie verkauft Software dafür, wer auf was zugreifen darf, und hat eine KI gebaut, deren Aufgabe es ist zu entscheiden, worauf andere KI-Systeme zugreifen dürfen. Was sofort die Frage aufwirft: Und wer kontrolliert die?
Ihr Sicherheitschef Kevin Paige hat konkret geantwortet. Er beschreibt sein eigenes Produkt, unabhängig geprüft ist davon nichts, also rechne den üblichen Abschlag ein. Der Gedanke lohnt trotzdem.
- Die kontrollierende KI wird behandelt wie ein ganz normaler Mitarbeiter. Eigene Rechte, und sie muss sich an dieselben Regeln halten, die sie durchsetzt.
- Sie hat eine kurze, feste Liste dessen, was sie überhaupt tun kann. Was nicht auf der Liste steht, kann sie nicht. Nicht "darf sie nicht". Kann sie nicht.
- Ihre Grundanweisungen lassen sich im laufenden Betrieb nicht ändern. Niemand kann sie also aus ihren eigenen Grenzen herausreden.
- Alles, was sie tut, wird festgehalten und als von der KI erledigt markiert, nicht als von einem Menschen.
- Und der wichtige Punkt: Der Teil, der eingehenden Text liest, ist nicht der Teil, der darauf handeln darf.
Der letzte Punkt dürfte dir bekannt vorkommen, denn beim Geld machst du das mit ziemlicher Sicherheit längst. Wer die Post öffnet, unterschreibt nicht die Überweisung. Wer die Rechnung bucht, gibt sie nicht auch frei. Funktionstrennung nennt man das, und niemand hält sie für ein Misstrauensvotum. Sie sorgt schlicht dafür, dass aus einem einzelnen Fehler oder einem gefälschten Brief keine Zahlung wird.
Genau dieselbe Idee, angewendet auf Software. Lass die KI lesen, was sie lesen muss. Sorg nur dafür, dass der lesende Teil nicht auch der Teil mit dem Stift in der Hand ist.
Und hier ist der Grund, warum ich dieses Prinzip ernst nehme, statt es unter Anbieter-Marketing abzulegen: Drei Gruppen, die nichts miteinander zu tun haben, sind innerhalb von etwa sechs Wochen darauf gekommen. Forscher in Fachartikeln. Die eben genannte Firma beim Entwerfen ihres Produkts. Und das Team, das den Angriff mit dem gefälschten Fehlerbericht aufgearbeitet hat: Dessen Empfehlung war nicht, den offenliegenden Schlüssel zu wechseln, sondern zu begrenzen, was die KI mit dem tun darf, was darüber zurückkommt.
Ein Forscher, ein Anbieter und ein Notfallteam, über drei verschiedene Wege am selben Punkt angekommen. Das wiegt mehr als jede einzelne dieser Stimmen.
Die Regel dahinter ist kurz genug, um sie sich zu merken. Sag einer KI nicht, sie soll sich benehmen. Nimm ihr die Möglichkeit, es nicht zu tun. Anweisungen sind genau das, was ein Angreifer überschreibt.
Was niemand gern zugibt
Es gibt eine ehrliche Grenze, und sie kommt von Elia Zaitsev, dem Technikchef der Sicherheitsfirma CrowdStrike: "Wenn du mit einem Agenten in einer Sandbox anfängst, der nichts anfassen darf, ist er wertlos. Sehr schnell bist du in diesem Wettlauf, ihm mehr Fähigkeiten zu geben. Und was ist dann der Sinn deiner Sandbox?"
Er hat recht. Diese Systeme sind gerade deshalb nützlich, weil sie an Dinge herankommen. Jede nützliche Berechtigung ist zugleich eine Tür. "Alles zusperren" ist deshalb kein Plan. Zu entscheiden, welcher Teil des Systems welchen Schlüssel bekommt, schon.
Die gute Nachricht: Sorgfalt macht dich schneller
Gut zu wissen, bevor dir jemand erzählt, Sorgfalt koste Tempo.
BARC, ein Forschungsinstitut aus Würzburg, hat im Auftrag des Softwareanbieters Domino 639 KI-Verantwortliche befragt. Unternehmen, deren Kontrolle mit ihrer KI-Arbeit Schritt hielt, hatten etwa 3,9-mal häufiger KI tatsächlich im Tagesgeschäft laufen statt in Pilotprojekten festzustecken.
Und die Branchen mit der meisten Disziplin waren nicht die langsamen. Banken und Versicherungen, die am stärksten regulierten in der Befragung, lagen bei beidem vorn: bei der Kontrolle und beim Tempo in den echten Betrieb.
Zwei ehrliche Einschränkungen: Ein Softwareanbieter hat die Studie bezahlt, und sie zeigt einen Zusammenhang, keinen Beweis, dass das eine das andere verursacht. Aber sie passt zu dem, worauf die technische Evidenz ohnehin hindeutet. Wer früh entscheidet, was seine KI anfassen darf, verbringt später weniger Zeit damit, herauszufinden, was sie angefasst hat.
Eine Zahl für Leser hier in Deutschland, Österreich und der Schweiz: Europäische Unternehmen meldeten den größten Rückstand der drei untersuchten Regionen. Rund 43 Prozent sagten, ihre Kontrolle sei vollständig aufgesetzt, gegenüber etwa 51 Prozent in Nordamerika und Großbritannien.
Warum das für uns kein abstraktes Problem ist
Lies die drei Zutaten noch einmal und schau dann auf das, was wir tatsächlich bauen.
Ein Chatbot, der Fragen aus den eigenen Dokumenten eines Unternehmens beantwortet: vertrauliche Daten, dazu Text, den irgendwer auf der anderen Seite tippt. Ein Assistent, der eingehende Mails liest und einsortiert: fast wortwörtlich Willisons eigenes Beispiel. Ein Sprachassistent, der Anrufe annimmt und ins CRM schreibt: Auch ein Gesprächsprotokoll ist Text, den ein Fremder geschrieben hat. Das vergisst man leicht, weil es sich wie ein Gespräch anfühlt und nicht wie ein Formular.
Alle drei haben alle drei Zutaten. Das ist kein Argument dagegen, sie zu bauen. Es ist der Grund, warum wir den lesenden Teil vom handelnden trennen, die Liste dessen, was das System kann, kurz und fest halten und vor alles, was sendet, zahlt oder löscht, einen Menschen setzen.
Das sind keine Extras, die wir einbauen, wenn ein Kunde danach fragt. Das ist der Standard. Denn die Alternative ist ein System, dessen Sicherheit davon abhängt, dass ihm nie jemand eine clevere Mail schreibt.
Fünf Fragen, die du am Montag stellen kannst
Das sind die Fragen, die wir für unsere eigene Arbeit beantworten müssen. Also ist es fair, sie jedem zu stellen, uns eingeschlossen. Technisch musst du dafür nicht sein:
- Worauf kann es zugreifen? Nicht wofür es gedacht ist. Die vollständige Liste.
- Wo kommt Text von außen herein, und darf genau dieser Teil auch handeln?
- Sind seine Grenzen Dinge, die es nicht kann? Oder nur Anweisungen, es nicht zu tun?
- Wenn es letzten Dienstag etwas falsch gemacht hat: Könnten wir herausfinden, was und warum?
- Wer ist dafür verantwortlich? Ein Name, keine Abteilung.
Wenn diese Fragen vage Antworten bekommen, hast du deine Antwort.