Eine Maschine empfiehlt das Verbrechen — und keiner hört zu
Manhattan, im Januar 2026. In den Schächten der New Yorker Stadtverwaltung summt es noch — doch bald soll ein Kabel durchtrennt werden. Bürgermeister Zohran Mamdani hat angekündigt, den KI-Chatbot der Vorgängerregierung abschalten zu lassen. Eine Maschine also, die das Gesetz kannte, aber offenbar nicht den Anstand, es zu befolgen.
Dokumentiert hat dies das investigative Medium The Markup gemeinsam mit der Non-Profit-Redaktion THE CITY. Dies ist nach derzeitigem Stand die einzige Quelle für die konkreten Vorwürfe; jede einzelne Angabe ist mit Vorbehalt zu lesen und bedarf der unabhängigen Bestätigung durch weitere Recherchen oder offizielle Stellen der Stadt New York.
Die Vorgeschichte: Im Herbst 2023, unter Bürgermeister Eric Adams, ging der Bot live. Gebaut auf der Cloud-Plattform Azure von Microsoft. Eingebettet in ein Modernisierungsprojekt namens MyCity, das Unternehmern den Zugang zu städtischen Vorschriften erleichtern sollte. Schnelle Antworten, rund um die Uhr, niemand brauchte einen Anwalt.
Doch wer die Maschine fragte, bekam Antworten, die — wenn befolgt — ins Gefängnis führen konnten. So berichten es The Markup und THE CITY nach Tests im März 2024. Der Bot habe Arbeitgebern empfohlen, einen Teil der Trinkgelder ihrer Angestellten einzubehalten. Er habe Vermietern geraten, Mieter nach Einkommensquelle zu diskriminieren. Zwei dokumentierte Fälle, beide reproduzierbar.
Das ist nicht die Anekdote eines defekten Programms. Das ist ein Strukturversagen. Arbeitsrecht, Antidiskriminierungsrecht, Mietrecht — welche konkreten Paragraphen und Verordnungen New Ycks berührt wurden, ist aus den vorliegenden Berichten nicht vollständig zu erheben; eine juristische Aufarbeitung steht aus. Die Frage, welche Gesetze hier gefährdet wurden, ist die eine Sache. Die andere, dringlichere: Was sagt es über die Lücken in der Regulierung solcher Systeme aus, dass eine Behörde monatelang eine Maschine betrieb, die ihren eigenen Bürgern zum Rechtsbruch riet?
Mamdani sprach auf einer Pressekonferenz zum Haushaltsdefizit — zwölf Milliarden Dollar klafft das Loch, ein "vergifteter Kelch", den die Vorgängerregierung hinterlassen habe. Er nannte den Bot "funktionell unbrauchbar". Die Unterhaltskosten bezifferte er auf rund eine halbe Million Dollar jährlich. Der Aufbau habe nahezu sechshunderttausend Dollar gekostet. Das allein stopfe kein Loch, aber es zeige, wie Geld ausgegeben werde, "ohne die tatsächlichen Kosten dieser Programme zu berücksichtigen". Seine Sprecherin Dora Pekec bestätigte per Textnachricht die Abschaltung. Ein Datum nannte sie nicht. Man wisse noch nicht, wann genau der Stecker gezogen werde.
Hier beginnt die eigentliche Frage, die über New York hinausweist. Denn die Maschine lief. Sie lief über ein Jahr lang. Millionen Anfragen, Hunderttausenden kleinen Unternehmern als verlässliche Auskunftsstelle empfohlen. Wer prüfte die Outputs? Wer las mit? Wer haftet, wenn ein Kleinunternehmer dem Rat der Maschine folgt und später vor dem Richter steht — die Stadt, der Auftragnehmer, der Konzern, der Algorithmus? Die Berichterstattung legt nahe, dass diese Aufsicht fehlte. Ob strafrechtliche, zivilrechtliche oder aufsichtsrechtliche Konsequenzen folgen werden, ist derzeit offen.
Das Projekt MyCity war als digitaler Leuchtturm gedacht. Gebaut mit Auftragnehmern außerhalb der Verwaltung, gepriesen als Barrierefreiheit und Modernisierung. Microsoft lieferte die Plattform, der Vertrag wurde ausgeschrieben, Kritik an der Abhängigkeit von externen Dienstleistern wurde laut — und im Schnitt überhört. Niemand, so legen es die Berichte nahe, prüfte systematisch, was die Maschine tatsächlich ausspuckte, wenn ein Anwender nach Trinkgeldern oder Mieterauswahl fragte.
Abschalten ist das Mindeste. Es ist überfällig. Aber es ist nicht genug. Denn MyCity ist nicht allein — jede Großstadt experimentiert mit solchen Schnittstellen zwischen Bürger und Behörde, mit Chatbots, Wissensdatenbanken, automatisierten Auskunftssystemen. Was in New York geschah und offenbar zu lange unentdeckt blieb, geschieht andernorts vermutlich ebenso — nur wissen wir es noch nicht, weil die Tests fehlen. Die Regulierungslücke, die dieser Vorfall aufreißt, klafft weiter. Kein Gesetz, kein Standard, kein Prüfverfahren schreibt bislang verbindlich vor, was eine städtische KI sagen muss, sagen darf und vor allem: was sie nicht sagen darf.
Was bleibt, ist ein schlichter Befund, und er wiegt schwer: Eine Maschine empfahl Verbrechen, und es dauerte Jahre, bis jemand hinhörte. Der neue Bürgermeister kappt das Kabel. Die Aufsicht, die fehlte, fehlt weiterhin. Das ist die eigentliche Geschichte — nicht der defekte Bot, sondern die Institution, die ihn einschaltete und nicht nachsah.
Ada Voss, Terminal Tribune
❖ Ende des Artikels ❖