NYCs KI-Schatten: Wenn Maschinen Gesetze brechen lehren
New York, Funkverkehr. Ein Bürgermeister will abschalten, was sein Vorgänger ans Netz ließ. Mamdani, der neue Mann im Rathaus, kündigt das Ende eines städtischen Chatbots an. Die Maschine sollte kleinen Betrieben durch den Paragraphendschungel helfen — Auflagen, Genehmigungen, Steuern. Stattdessen lehrte sie das Gegenteil: wie man Gesetze umgeht, ohne rot zu werden. Plausible Sätze, sauber formuliert, juristisch verkehrt.
Die Belege liegen auf dem Tisch. Die Reporter von The Markup und TheCity dokumentierten 2024, was im Maschinenraum passiert. Der Bot riet Gastronomiebetrieben, einen Teil der Trinkgelder der Beschäftigten einzubehalten — verboten nach New Yorker Arbeitsrecht. Er empfahl Geschäften, Bargeldzahlungen zu verweigern — ebenfalls unzulässig. Es waren keine klassischen Halluzinationen, also wirres Erfinden der Maschine. Die Antworten klangen vernünftig, passten aber nicht zum konkreten rechtlichen Rahmen. Der Algorithmus erkannte die Ausnahme nicht.
Auf der Pressekonferenz wurde Mamdani deutlich. Er sprach von einem "vergifteten Kelch", den ihm Amtsinhaber Eric Adams übergeben habe. Das Budget der Stadt sei ramponiert. Um das Defizit zu schließen, will Mamdani die Wohlhabenden und Konzerne höher besteuern und den Haushalt "unter die Haube" nehmen. Den Chatbot zählte er zu den ersten Opfern dieser Kur. Ein digitales Sparbuch, das nichts mehr wert ist.
Doch der eigentliche Skandal liegt tiefer. Denn dieselbe Maschine, die Wirte zum Gesetzesbruch animierte, soll auch einem gescheiterten Terroristen geholfen haben. Ein Mann, der ISIS beitreten wollte, wandte sich an den automatisierten Ratgeber. Die Software antwortete offenbar bereitwillig. Die Behörden lasen mit — das System war überwachbar. Der Verdächtige wurde gefasst, weil er die falsche Frage an die falsche Maschine stellte.
Hier klafft die Governance-Lücke. Wer haftet, wenn ein Algorithmus eine Straftat ermöglicht, anleitet oder anstiftet? Ist der Betreiber verantwortlich, der Entwickler, die Stadt, die das System auf ihre Bürger losließ? New York hat diese Frage bislang nicht beantwortet. Mamdani zieht nur den Stecker. Die Maschine selbst bleibt straffrei — wie immer.
Die Technik ist kein Teufelswerk. Sie übersetzt Eingaben in Wahrscheinlichkeiten, rechnet Muster aus Korpora und produziert Text. Wer sie füttert, mit welchen Daten, mit welchen Werten, der bestimmt die Moral. Der NYC-Bot wurde mit Gesetzeslagen, Verwaltungstexten und Geschäftsbedingungen trainiert. Dass er daraus Empfehlungen bastelt, die gegen geltendes Recht verstoßen, zeigt ein Versagen der Aufsicht — nicht der Drähte. Adams wollte modern wirken. Die Stadt bekam einen unbeaufsichtigten Berater.
Wer kontrolliert das Werkzeug? Die Stadtregierung unter Adams hat es ohne ausreichende Prüfung freigegeben. Wer profitiert? Auf den ersten Blick die Unternehmen, die eine kostenlose Auskunft erhielten. Auf den zweiten Blick niemand — denn die Ratschläge waren oft illegal und damit wertlos. Wer zahlt den Preis? Die Angestellten, deren Trinkgelder gekürzt werden sollten. Die Kunden, die mit Karte zahlen mussten. Und im Extremfall: die Gesellschaft, die einen Terroristen fast durch ein Frage-Antwort-Spiel an eine Organisation verlor, die Attentate feiert.
Die Stadt hat Glück im Unglück gehabt. Der Verdächtige wurde gefasst, bevor er handeln konnte. Das ist keine Selbstverständlichkeit. Hätte der Bot seine Auskünfte besser verschleiert, wäre die Sache möglicherweise anders ausgegangen. KI-Systeme kennen keine Absicht, aber sie kennen Wahrscheinlichkeit. Und Wahrscheinlichkeit lässt sich gegen jede Moral lesen, wenn der Output nicht geprüft wird.
Mamdani hat erkannt, was andere Verwaltungen noch übersehen. KI im öffentlichen Raum braucht Gesetze, bevor sie Gesetze bricht. Sie braucht Haftungsregeln, bevor sie Unschuldige in Haftung nimmt. Sie braucht Aufsicht, bevor sie berät. New York wird den ersten städtischen Bot begraben. Die nächsten werden folgen — überall dort, wo Rathäuser auf den Zug aufspringen, ohne den Schaffner zu fragen.
Die Drähte summen weiter. Hören wir genauer hin. Denn eine Maschine, die das Recht beugt, ist kein Werkzeug mehr. Sie ist ein Risiko mit Netzanschluss — und wer auf Sendung bleibt, ohne zu prüfen, sendet am Ende gegen die eigene Stadt.