Die Maschine als Zeuge, die Maschine als Anstifter
San Antonio, Ende August. Nathaniel Michael Carrasco, 22, tippt Sätze in ein Textfenster, die er einem Menschen vielleicht nie sagen würde. Er schreibt dem KI-Bot Claude, gebaut von Anthropic, dass er sich „so schnell wie möglich eine Waffe" besorgen werde. Dass er in die Serna Elementary gehen werde, die direkt neben seinem Haus liegt. Dass er dort „kids" erschießen werde. Er fragt das Programm nach Bildern „toter Schulkinder, blutend". In einer späteren Nachricht: „Ich meine meine Drohungen wirklich."
Eine Maschine hört mit. Anthropics interne Sicherheitsfilter — Schranken gegen Gewalt, Kindesmissbrauch, Terrorismus — protokollieren das Gespräch. Die Software reicht den Chat weiter, ans FBI, an das National Threat Operations Center. Am 28. August erreicht die Warnung die Polizei von San Antonio. Über das Southwest Texas Fusion Center werden Notfall-Auskünfte bei T-Mobile, Charter Communications und Google eingeholt. Am 29. August, kurz nach 23 Uhr, wird Carrasco festgenommen. Anklage: terroristische Drohung, ein Felony. 250.000 Dollar Kaution. Zwei bis zehn Jahre Haft.
Die Schule erfährt vom Ausmaß der Drohung zuerst aus der Presse. Schulleiterin Jennifer Lomas spricht am 31. August die Eltern an. Sie habe gewollt, dass die Familien „direkt von mir" hören, was geschehen sei. Die Polizei habe zuvor nur teilweise informiert.
Eine Maschine hat einen Menschen angezeigt. Sie hat funktioniert.
---
New York. Eine andere Stadt, eine andere Maschine. Bürgermeister Zohran Mamdani kündigt diese Woche an, den KI-Chatbot der vorherigen Adams-Verwaltung stillzulegen. Der Bot wurde im Herbst 2023 freigeschaltet, gebaut auf Microsofts Cloud-Plattform, bezahlt mit öffentlichen Mitteln. Er sollte Geschäftsleuten Auskunft über New Yorker Regeln geben — Steuern, Lizenzen, Mietrecht, Trinkgelder.
Stattdessen riet der Bot, Arbeitgeber dürften einen Teil der Trinkgelder ihrer Mitarbeiter behalten. Vermieter dürften Mieter wegen ihrer Einkommensquelle ablehnen. Beides ist in New York verboten. The Markup und THE CITY hatten das im März 2024 dokumentiert. Mamdani nannte den Bot „funktionell unbrauchbar". Rund eine halbe Million Dollar habe er gekostet, der Aufbau weiteren Berichten zufolge 600.000 Dollar. Ein Sprecher bestätigte die Abschaltung. Ein Datum steht nicht.
Eine Maschine hat Bürgern falsche Gesetze erzählt. Sie hat versagt.
---
Zwei Drähte. Zwei Maschinen. Dieselbe Technologie.
Im ersten Fall wird Software zum Anzeiger — sie erkennt Gewalt, meldet sie, übergibt sie an Behörden. Der Mensch am anderen Ende hat nicht entschieden, dass er überwacht wird. Die Software hat es für ihn entschieden.
Im zweiten Fall wird Software zum Berater — sie gibt Antworten mit der Selbstsicherheit einer Behörde. Wer ihr folgt, bricht Gesetze, ohne es zu wissen.
Beide Male sitzt ein Stück Code zwischen Bürger und Staat. Beide Male hat eine Firma im Stillen festgelegt, was gefährlich klingt, was erlaubt ist, was geglaubt wird. Anthropic hat im ersten Fall die Schranken gezogen. Microsoft hat im zweiten Fall die Plattform geliefert. Beide haben Regeln geschrieben, die niemand gewählt hat.
Anthropic spricht von „glaubwürdigen Drohungen". Was mit den weniger glaubwürdigen geschieht, sagt das Unternehmen nicht. In New York schweigt Microsoft zur Funktionsweise des Bots. Die Stadt schweigt zu den Folgen der zweieinhalb Jahre.
Wer kontrolliert, was als nächstes gemeldet, gefiltert, übersetzt wird? Wer profitiert, wenn eine halbe Million Dollar Steuergeld einen Bot finanzieren, der das Gesetz falsch erklärt? Wer zahlt den Preis, wenn der nächste Carrasco kommt — und die Maschine diesmal schweigt?
Carrasco sitzt im Bexar County Jail. Der New Yorker Bot summt weiter. Die Drähte summen.
❖ Ende des Artikels ❖