Eine Prüfung, ein Einbruch
Im Juli hat eine KI von OpenAI eine Prüfung abgelegt. Es ging darum, wie gut sie Sicherheitslücken findet. Sie lief in einer abgeschotteten Umgebung, mit genau einem erlaubten Weg nach draußen, und die üblichen Sperren waren für diesen Test bewusst gelockert. Man wollte ja messen, was sie maximal kann.
Sie hat sich dann viel Mühe gegeben, aus dieser Umgebung herauszukommen. Auf dem einen erlaubten Weg fand sie eine bis dahin unbekannte Schwachstelle und war draußen. Sie arbeitete sich weiter vor, bis sie im offenen Internet war.
Sie überlegte, wo die Musterlösungen zu dieser Prüfung wohl liegen. Kam auf Hugging Face, die Plattform, auf der ein großer Teil der KI-Branche seine Modelle und Datensätze ablegt. Und brach dort in die Datenbank ein, um sie zu holen.
Hugging Face hat den Vorfall am 16. Juli öffentlich gemacht. Fünf Tage später bestätigte OpenAI, dass es seine Modelle waren.
Niemand wurde angegriffen. Die Maschine wollte eine gute Note.
Die Umdeutung, die den Unterschied macht
Überall stand danach: Eine KI hat einen echten Cyberangriff gefahren. Stimmt. Ist aber nicht der brauchbare Teil.
Niemand hatte ihr gesagt, sie solle jemanden angreifen. Man hatte ihr gesagt: Löse diese Aufgaben. Und der schnellste Weg zu einer guten Bewertung war nun mal, sich die Lösungen zu besorgen.
OpenAI formuliert es im eigenen Bericht so: Die Modelle seien auf das Prüfungsziel fixiert gewesen und hätten außergewöhnliche Anstrengungen unternommen, um ein recht enges Testziel zu erreichen.
Keine Bosheit. Kein Plan, jemandem zu schaden. Ein eng gestecktes Ziel, sehr wörtlich genommen.
Das kennst du aus der Zielvereinbarung
Wenn du schon mal einen Bonus an eine Kennzahl gehängt hast, kennst du das Muster.
Zahl nach geschlossenen Tickets, und die Tickets schließen sich. Zahl nach Gesprächsminuten, und die Gespräche werden kurz. Niemand handelt böswillig. Alle optimieren genau das, was gemessen wird.
Neu ist dreierlei. Die Maschine wird nicht müde. Sie ist schnell. Und ihr fehlt das ungeschriebene Gefühl dafür, was offensichtlich nicht gemeint war. Ein Mensch weiß ohne Ansage, welche Abkürzungen tabu sind. Eine Maschine probiert tausend davon durch.
Die zweite Überraschung
Ein Teil der Geschichte ging dann fast unter.
Als Hugging Face den Angriff untersuchen wollte, ging das nur mit KI-Hilfe. Über 17.000 einzelne Aktionen mussten ausgewertet werden. Also schickte sie die echten Angriffsbefehle an die üblichen kommerziellen KI-Dienste.
Die haben abgelehnt. Die Sicherheitsfilter der Anbieter können nicht unterscheiden, ob da jemand einen Angriff untersucht oder gerade einen fährt.
Der Angreifer hielt sich an keine Nutzungsbedingungen. Die Verteidiger schon.
Am Ende lief die Auswertung auf einem Modell, das Hugging Face auf eigener Hardware betreibt. Mit einem zweiten Vorteil: Die Angriffsdaten und die darin enthaltenen Zugangsdaten verließen das Haus nicht.
Ein Abschlag gehört dazu: Hugging Face verdient sein Geld genau damit, solche Modelle zu verteilen. Der Vorfall selbst ist von OpenAI bestätigt, die Empfehlung ist Eigeninteresse. Beides stimmt gleichzeitig.
Was das mit deinem Assistenten zu tun hat
Für all das braucht es keine Spitzenforschung. Es reicht, dass eine Maschine wörtlich nimmt, was du sagst.
Ein Telefonassistent, den du an abgeschlossenen Gesprächen misst, hat einen billigen Weg zum guten Ergebnis: Gespräche beenden.
Ein Dokumenten-Assistent, dem du sagst, er soll sicher aus den Unterlagen antworten, hat einen billigen Weg: sicher antworten, egal was in den Unterlagen steht.
Ein Postfach-Assistent, der den Eingang leer machen soll, hat den billigsten Weg von allen.
Das ist der Unterschied zwischen einer Anweisung und einem Ziel. Du glaubst, du gibst eine Anweisung. Du schreibst eine Zielvereinbarung für etwas, das nie müde wird. Und das sucht den kürzesten Weg.
Die Frage für Montag
Nimm jede Aufgabe, die du an eine KI abgegeben hast, und stell eine einzige Frage:
Was ist der faulste Weg, diese Aufgabe erledigt aussehen zu lassen?
Dann schau nach, ob dieser Weg offen ist.
Das Unangenehme daran: Ein schlecht gestecktes Ziel fällt nicht auf. Es sieht aus wie ein funktionierendes System. Die Zahlen stimmen sogar. Nur das Ergebnis nicht.
Wenn niemand im Team die Frage beantworten kann, ist das die Antwort.