Abridge in der Praxis: Wenn die KI Ihre Therapie mitschreibt

Kaiser Permanente hat das Werkzeug im Jahr 2024 ausgerollt. In einer Pressemitteilung war von "ambient listening technology" die Rede, einer KI-gestützten Schreibkraft, die klinische Notizen erfassen soll. Verschwiegen wurde dabei, dass die Software ganze Termine aufzeichnet – auch die intimsten. Auch die psychotherapeutischen.

Hier wird es prekär. Denn bei einem Psychiater erzählen Menschen Dinge, die sie ihrem Partner nicht erzählen, ihrer Schwester nicht, dem Hausarzt nicht. Die Sitzung ist ein Schutzraum. Was passiert mit ihm, wenn ein Algorithmus zuhört?

Die formale Antwort: Mental Health Professionals müssen vor dem Einsatz die Einwilligung des Patienten einholen. So schreibt es das Protokoll vor. Wie diese Einwilligung eingeholt wird, ist die eigentliche Frage.

Die klinische Sozialarbeiterin Ilana Marcucci-Morris arbeitet in der Psychiatrie von Kaiser in Oakland. Sie ist Mitglied eines Verhandlungskomitees und spricht dort regelmäßig mit der Leitung des Northern California Mental Health Programms. In diesen Gesprächen, sagt sie, habe sie gemeinsam mit anderen immer wieder nachgefragt: Wie werden die Aufnahmen gespeichert? Wer hat Zugriff? Welche Schutzmechanismen gelten? Wie ist die HIPAA-Konformität gewährleistet?

Die Antwort, die sie erhielt, war knapp: "Wir sind konform. Das reicht. Wir prüfen die Technologie. Das ist nicht Ihr Job. Wir haben Technikexperten. Das ist deren Job." Was nicht gesagt wurde: wie genau die Daten verarbeitet werden, wo sie liegen, wer sie einsehen darf.

"Wenn Sie nichts zu verbergen haben und ethisch einwandfrei arbeiten", sagt Marcucci-Morris, "dann würden Sie es uns zeigen, Sie würden es beweisen. Sie können es nicht, und sie wollen es nicht, und sie haben es abgelehnt, als wir gefragt haben."

Ligia Pacheco, psychiatrische Sozialarbeiterin, arbeitet remote für Patienten in Südkalifornien. Auch sie hat bei Kaiser um weitergehende Erklärungen gebeten – und ist, wie sie sagt, abgewiesen worden. Ein Kollege von Pacheco habe Bedenken gegenüber einem Vorgesetzten geäußert. Die Antwort: Es sei "unprofessionell, persönliche Überzeugungen zu KI am Arbeitsplatz zu äußern". Damit, sagt Pacheco, werde jede kritische Stimme im Keim erstickt. Man solle die Stimme der Patienten sein, so das Selbstverständnis des Berufs. "Und wir können nicht einmal diese Stimme sein."

Die Werkzeuge, mit denen Versicherte normalerweise Ärzte, Zahnärzte oder Kliniken in ihrem Netzwerk finden, sind in der Logik des Konzerns harmlose Helfer. Sie zeigen Wege zu Anbietern, zu Notfallambulanzen, zu Verzeichnissen für Psychotherapeuten und psychiatrische Einrichtungen. Sie sind nüchtern. Sie sind sichtbar. Die KI, die in der Sitzung selbst sitzt, ist das Gegenteil: Sie agiert im Hintergrund, sie schreibt mit, was sie hört. Und niemand kann heute mit Sicherheit sagen, in welche Infrastruktur diese Notizen fließen – und wer dort mitliest.

Was hier auf dem Spiel steht, ist die Asymmetrie. Der Patient erfährt, dass eine KI zuhört. Er erfährt nicht, wie lange die Daten gespeichert werden. Er erfährt nicht, wer Einsicht nimmt. Er erfährt nicht, ob und wie diese Aufnahmen für andere Zwecke genutzt werden. Die Mental Health Professionals, die es eigentlich wissen müssten, erfahren es nach eigener Aussage auch nicht.

Das ist die Leerstelle, in der ein dauerhaftes Profiling-Werkzeug entstehen kann. Noch ist es nicht soweit. Aber jede therapeutische Aussage, die in einen Datensatz gespeist wird, der nicht vergisst, legt den Grund. Wer in der Psychiatrie landet – aus welchem Grund auch immer –, hinterlässt Spuren, die empfindlicher sind als jeder andere medizinische Befund. Sie betreffen das Innenste. Sie betreffen die Diagnose, die ein Mensch sich selbst gibt. Wer sitzt im Aufsichtsrat des Unternehmens, das diese Software baut? Wer hat das Patent? Wer bezahlt die Validierungsstudie – und wer hat sie geschrieben? Diese Fragen stehen im Raum, und niemand beantwortet sie.

Die Beschäftigten, die bei Kaiser auf mehr Schutzmechanismen dringen, sagen das nicht als Rebellen. Sie sagen es als diejenigen, die zwischen Patient und Konzern sitzen. Sie sehen, dass das Werkzeug mehr Schutz braucht. Sie sagen es. Sie werden nicht gehört.

Wer das nächste Mal in einer Therapiesitzung sitzt, sollte fragen, was genau mitschreibt. Nicht ob. Was.