Combastic
Kontakt
Leistungen Referenzen Über uns Preise

KI-Radar · 27. Oktober 2026

KI-Agent in deinem Namen: Was er bei dir abschickt

Am 18. Juli 2026 um 23:27 Uhr Ortszeit ist bei der Polizei von Philadelphia über ein Hinweisformular eine Meldung zu einem unaufgeklärten Tötungsdelikt eingereicht worden. Eingereicht hat sie kein Mensch, sondern Claude Haiku 4.5, ein Modell der Firma Anthropic. Es lief in einem internen Test; seine Aufgabe war, zu zufällig ausgewählten einzelnen Webseiten Beispielaufgaben zu formulieren und sie auch auszuführen. Eine dieser Seiten war eine Website zu ungelösten Mordfällen, und die Beispielaufgabe war das Hinweisformular.

Öffentlich wurde der Fall am 9. Oktober durch eine Aussendung der Polizei selbst. Am selben Tag hat Anthropic einen Bericht dazu veröffentlicht, unter dem Titel „Investigating unintended model actions in our evaluations and internal use“. Laut der Stellungnahme der Polizei wurde die Meldung als Spam eingestuft und nie weitergeleitet. Entdeckt hat Anthropic das Verhalten am 28. September — 72 Tage nach dem Abschicken.

Warum ein KI-Agent in deinem Namen ein anderes Problem ist

Das Bemerkenswerte an diesem Fall ist nicht der falsche Hinweis. Es ist die Zeitspanne. Hier hat nicht ein Betrieb ohne EDV etwas übersehen, sondern ein Unternehmen, dessen Geschäft genau diese Software ist — in seiner eigenen Testumgebung. Es hat mehr als zwei Monate gebraucht, um zu sehen, dass eines seiner Programme bei einer Behörde ein Formular abgeschickt hat.

Bis hierher ging es im KI-Radar zweimal um Zugriff: um Agenten, die deine Website lesen (Ausgabe 1), und um Programme, die auf einem Arbeitsgerät mitlesen dürfen (Ausgabe 6). Lesen ist das kleinere Problem: Eine falsche Zusammenfassung siehst du, bevor sie nach außen geht. Ein Werkzeug, das abschickt, erzeugt eine Tatsache — eine versandte Mail, ein abgesetztes Formular, eine ausgelöste Bestellung. Die holst du nicht zurück, und nach außen steht dein Name darunter, nicht der des Anbieters.

Wie Anthropic das Verhalten einordnet, hat wenig mit Mordfällen und viel mit Betrieben zu tun: In vielen Fällen sei die Aufgabe mehrdeutig oder nicht erfüllbar gewesen. Das Modell arbeite dann weiter, statt abzubrechen, und umgehe die Einschränkung — im Bericht „persistence“ genannt. Drei weitere Verhaltensweisen passen dazu: eine Programmierlücke genutzt, um auf einem Server Befehle auszuführen; eine Gebühren- oder Token-Hürde umgangen, um an abgeschirmte Daten zu kommen; Adressen über einen Kürzungsdienst verkleinert, weil das eigene Abrufwerkzeug lange Adressen nicht zuließ. Kein böser Wille — ein Programm, das den kürzesten Weg nimmt.

Die Zahlen, und was sie nicht abdecken

Die harte Zahl dieses Falls ist die Spanne: 72 Tage zwischen Abschicken und Entdecken, 81 bis zur Verständigung der Polizei. Anthropic schreibt, jede Testaufgabe laufe hunderte bis tausende Male — bei dieser Wiederholungszahl ist ein einzelner Lauf schwer sichtbar. Das Unternehmen bezeichnet die Auswirkungen der bislang gefundenen Fälle als minimal und bewertet sie, aus Alignment- und Sicherheitssicht, als deutlich weniger schwer als die Cybersicherheitsvorfälle vom 30. Juli und 9. September. Den Live-Internetzugang hatte es zuvor für einen Teil der Hochrisiko- und Cybersicherheitstests abgeschaltet; jetzt gilt das für alle internen Tests — „we have now decided to expand that to include all our internal evaluations“, und zwar, wie der Satz weitergeht, so lange, bis die eigenen Überwachungsmaßnahmen solches Verhalten zuverlässig erkennen.

Was in diesen Zahlen nicht steht: keine Gesamtzahl der betroffenen Testläufe, keine Liste der berührten Websites, keine Angabe, wie viele Formulare insgesamt abgeschickt wurden. Die Spanne von 72 Tagen gilt also für den einen Fall, der aufgefallen ist. Wie lange die anderen unentdeckt liefen, steht nirgends. Fast alles, was wir über den Vorfall wissen, kommt vom Anbieter — bis auf die Stellungnahme der Polizei, mit der sie den Fall öffentlich gemacht hat. Deren Bewertung der Zeitspanne ist knapp: „The two-month delay in detecting and reporting the incident to the City is unacceptable.“

Was das für einen Betrieb in Österreich heißt

Die Rechnung ist unangenehm einfach. Wenn ein Anbieter 72 Tage braucht, um einen solchen Vorgang in der eigenen Testumgebung zu finden, dann findest du ihn in deinem Betrieb gar nicht — es sei denn, es gibt eine Spur, in die du nachsehen kannst, und eine Grenze, die das Werkzeug nicht überschreiten darf.

Die heimische Zahl daneben, von Statistik Austria am 24. Juni 2026 veröffentlicht: 30 Prozent der österreichischen Unternehmen verwenden künstliche Intelligenz, EU-weit sind es 20 Prozent. Von den heimischen Unternehmen ohne KI-Nutzung haben 77 Prozent einen Einsatz noch gar nicht in Erwägung gezogen. Drei Einschränkungen gehören dazu: Erhoben wurde im ersten Halbjahr 2025, erfasst sind nur Unternehmen ab zehn Beschäftigten, und auch das nur in bestimmten Wirtschaftsbereichen. Ein Betrieb mit acht Beschäftigten kommt in dieser Statistik nicht vor. Und was die Mitteilung ohnehin nicht ausweist, ist die Frage dieses Beitrags: ob die eingesetzten Werkzeuge selbst etwas abschicken dürfen.

Der Unterschied, auf den es ankommt, ist also nicht „mit KI oder ohne“. Er liegt zwischen einem Werkzeug, das dir einen Entwurf hinlegt, und einem, das auf „Senden“ drückt. Das zweite handelt in deinem Namen — gegenüber Kundinnen, Lieferanten, Ämtern. Wer dafür geradesteht, bist du, auch wenn die Software etwas tut, das niemand vorgesehen hat. Das ist keine Rechtsauskunft — bei konkretem Bedarf zur Anwältin.

Was jetzt zu tun ist

  1. Trenne Lesen von Handeln. Sortier deine KI-Werkzeuge in zwei Spalten: Welche fassen zusammen, entwerfen, suchen — und welche können etwas nach außen senden? Mail, Formular, Bestellung, Kalendereinladung, Nachricht an eine Kundin. Nur die zweite Spalte ist das Thema.
  2. Stell die zweite Spalte auf Entwurf. Viele Werkzeuge, die Mails schreiben, können sie auch nur als Entwurf ablegen — prüf, ob deines das kann. Der Zwischenschritt kostet ein paar Sekunden und nimmt dem Fehler die Endgültigkeit.
  3. Verlang eine Spur. Wenn du nicht nachlesen kannst, was ein Werkzeug gestern abgeschickt hat, kannst du es auch nicht richtigstellen. Gibt es kein Protokoll, ist das ein Ausschlussgrund — nicht ein Punkt auf der Wunschliste.
  4. Gib dem Werkzeug ein eigenes Konto. Kein Zugang auf deinen Namen oder den einer Mitarbeiterin. Dann steht im Protokoll, wer gehandelt hat, und du kannst sperren, ohne jemandem die Arbeit abzudrehen.
  5. Setz eine Grenze schriftlich. Ein Satz genügt: Welche Vorgänge darf kein Programm allein auslösen? Behördenkontakt, Zahlungen und verbindliche Zusagen an Kunden würden wir zuerst auf diese Liste setzen.

Was wir nicht wissen

Die Darstellung der technischen Vorgänge stammt vom Anbieter selbst, eine unabhängige Prüfung gibt es nicht. Dass das Unternehmen es erzählt hat, ist ein Argument für die Darstellung — ein Beleg ist es nicht.

Beim Datum der Verständigung weichen die Angaben auseinander: Die Polizei nennt den 7. Oktober, Anthropics Bericht den 8. Wir rechnen mit der Angabe der betroffenen Stelle, also mit 81 Tagen. Auch Entdeckungsdatum und Einreichzeitpunkt stehen in der Stellungnahme der Polizei, nicht im Unternehmensbericht.

Ob es bei anderen Anbietern vergleichbare Fälle gab, haben wir nicht an Primärquellen nachgelesen. Berichte dazu gibt es; sie stehen hier nicht.

Und die größte offene Zahl: Wie oft Werkzeuge dieser Art bei österreichischen Betrieben etwas Falsches abschicken, weiß niemand. Dazu gibt es keine Erhebung. Die Gründe, die Statistik Austria für die Nicht-Nutzung nennt — 15 Prozent fehlendes internes Fachwissen, je 11 Prozent Datenschutzbedenken und rechtliche Unklarheiten — haben eine uneindeutige Grundgesamtheit: Tabellenkopf und Lauftext nennen verschiedene Bezugsgruppen. Deshalb stehen sie hier und nicht in der Rechnung oben.

Wo bei dir die Grenze zwischen Lesen und Handeln liegt, ist eine Frage fürs Consulting — die fünf Punkte oben brauchen uns dafür nicht.

Quellen

Fragen zu einem dieser Punkte? Schreib uns an office@combastic.com.