TANZ DER MASCHINEN: WIE GETESTET WIRD, WAS DIE MASCHINE NICHT KANN

CalMatters und The Markup haben sich zusammengetan, um etwas zu testen, das die Tech-Industrie lieber nicht getestet sehen will: Wie gut können die führenden KI-Plattformen eigentlich tanzen? Die Antwort, vorab: gar nicht. Keines der generierten Videos zeigte den Tanz, der angefordert wurde.

Aber darum geht es mir nicht. Mir geht es um die Methode.

Wer testet, definiert. Wer definiert, gewinnt.

Die Methodik: Man nehme eine Auswahl führender KI-Videogeneratoren. Man gebe ihnen textliche Prompts, die konkrete Tänze und Choreografien verlangen. Dann lasse man nicht etwa Ingenieure oder Marketing-Leute bewerten — sondern Tänzerinnen und Choreografen. Menschen, die wissen, wie ein Körper sich bewegt. Menschen, die den Unterschied sehen zwischen einer Pose und einem Tanz.

Das ist bemerkenswert. In einer Branche, die ihre eigenen Produkte mit eigenen Metriken bewertet — Benchmarks, die sie selbst konstruiert, Datensätze, die sie selbst kuratiert —, haben sich hier zwei Redaktionen entschieden, die Bewertung in die Hände der Praktiker zu legen. Nicht der Erbauer. Der Ausführenden.

Die Ergebnisse, soweit sie aus der Vorabmeldung ersichtlich sind: Keines der Videos entsprach dem angeforderten Tanz. KI-Modelle können heute lebensechte Videos aus einem simplen Textprompt erzeugen. Aber komplexe natürliche Bewegungen — und menschlicher Tanz ist die Krone solcher Bewegungen —, daran scheitern sie. Systematisch.

Hier beginnt mein Misstrauen.

Wenn die Maschine nicht tanzen kann, wer entscheidet dann, was Tanz ist? Der Prompt? Der Bewerter? Die Metrik? In den vorliegenden Belegen werden choreography accuracy als Schlagwort genannt, ebenso post-production noise und synthetic performance. Das sind keine neutralen Begriffe. Das sind Kategorien, in denen etwas Verhandelbares gemessen werden soll.

Choreografische Genauigkeit — wer legt fest, was genau ist? Der Originaltanz, aus dem vielleicht gescannt wurde? Die Notation? Die Erinnerung des Choreografen?

Post-production noise — Geräusche nach der Produktion. Klingt harmlos. Ist es nicht. Es bedeutet: Die Maschine hat Artefakte eingebaut, die der Mensch als falsch erkennt. Aber welche? Wie quantifiziert?

Synthetic performance — synthetische Darbietung. Ein Tanz, der keiner ist. Eine Performance ohne Performer. Was wird da gemessen? Die Ähnlichkeit mit etwas, das es nicht gibt?

Offene Fragen, die ich noch nicht beantworten kann: Wer hat die Prompts formuliert? Welche Tänze wurden gewählt — und warum diese? Wurden die KI-Modelle vor dem Test angekündigt? Gab es Iterationen, oder war es ein einzelner Schuss ins Dunkel?

Das letzte ist entscheidend. Eine einzige Generierung pro Prompt bedeutet: Was wir sehen, ist die bestmögliche Ausgabe unter Standardbedingungen. Kein Cherry-Picking durch die Entwickler, kein mehrmaliges Nachfragen. Das ist fair. Aber es bedeutet auch: Wir sehen nicht, was die Systeme könnten, wenn man ihnen Zeit gäbe.

Die Plattformen selbst — ungenannt in den vorliegenden Quellen, aber dem Tech-Korrespondenten in Kalifornien vermutlich bekannt —, haben kein Interesse an dieser Art Test. Ihre eigenen Demonstrationen zeigen die spektakulären Erfolge: Einen Text eingeben, ein Video erhalten. Die Fehlerquote bei komplexer Bewegung ist der Elefant im Raum, den jeder sieht und niemand benennt.

Diese Untersuchung benennt ihn.

Ich bleibe dran. Die endgültige Verifikation steht aus. Was hier steht, beruht auf einer einzigen Quellenlage und dem, was die Drähte mir verraten. Bevor diese Geschichte in die Welt geht, muss ich mehr wissen: Wer hat die Bewertungskriterien entworfen? Wer hat die Choreografen ausgewählt? Welche Videos wurden gezeigt, in welcher Reihenfolge, mit welchem Kontext?

Die Methode ist die Message. Wer misst, hat die Macht. In diesem Fall haben zwei Redaktionen diese Macht für einen Moment aus der Hand der Ingenieure genommen und sie denen gegeben, die vom Tanz etwas verstehen.

Was dabei herauskam, war ein Urteil, das die Industrie lieber nicht gehört hätte: Die Maschine tanzt nicht. Sie simuliert Bewegung. Aber ein simulierter Tanz ist kein Tanz.

Mein Büro riecht nach Lötzinn und kaltem Kaffee. Die Geschichte ist noch nicht zu Ende. Sie fängt erst an.