It starts harmlessly: a question you would once have thought through yourself, now typed into a box — and the half-formed thought is left hanging, because the answer is only a sentence away. This second essay in the AI-ethics series asks not whether AI makes us dumber, but whether we un-learn thinking because handing it over is so easy. The pattern is old — GPS and the sense of direction, the calculator and mental arithmetic: use it or lose it. The first brain measurements are a warning, not a proof; and one of them reveals the real point — those who trust the AI think less, those who trust themselves think more. Kant described the trap in 1784: "I have a book that has understanding for me … so I need not trouble myself." The system becomes the perfect guardian, and the comfort is self-incurred. Yet a tool decides nothing on its own — the same knife sharpens a stick or carves a figure; it depends on the hand. Maturity is not a state but a daily choice: dare to know.

Inhalt

• Das Muster ist älter als die KI

• Was die ersten Messungen zeigen — und was nicht

• Kant hat den Vormund beschrieben, bevor es ihn gab

• Es liegt an der Hand

• Mündigkeit ist kein Zustand

Es beginnt harmlos. Eine Frage taucht auf — wie formuliere ich diese heikle E-Mail, was war noch mal der Unterschied zwischen diesen beiden Begriffen, wie rechne ich das schnell um. Früher hätte man kurz nachgedacht. Jetzt tippt man sie ein. Die Antwort steht in Sekunden da, gut genug, und der Gedanke, den man gerade selbst zu Ende gebracht hätte, bleibt auf halbem Weg liegen. Nichts daran fühlt sich falsch an. Es ist nur bequem.

Der erste Teil dieser Reihe fragte, was die künstliche Intelligenz ist — ob dieses Antworten schon ein Denken ist. Dieser Teil dreht die Frage um und richtet sie auf den, der das System benutzt: Was macht die tägliche Nutzung mit ihm? Die unbequeme Vermutung dahinter lautet: Vielleicht raubt uns die KI das Denken gar nicht. Vielleicht gewöhnen wir es uns ab.

Das Muster ist älter als die KI

Der Verdacht ist nicht neu, und das ist das Erste, was ihn glaubwürdig macht. Jedes Werkzeug, das uns eine Mühe abnimmt, nimmt uns auch die Übung. Wer immer den Taschenrechner zückt, verliert das Kopfrechnen. Wer jede Telefonnummer im Gerät speichert, kennt keine mehr auswendig. Die Fähigkeit verkümmert, für die das Werkzeug einspringt — „use it or lose it”, benutze es oder verliere es, gilt für den Muskel wie für das Gedächtnis.

Am schönsten lässt sich das an der Orientierung zeigen, weil hier die Forschung in beide Richtungen blickt. Auf der einen Seite stehen die Londoner Taxifahrer. Wer die Prüfung für das legendäre „Knowledge” besteht, hat sich zehntausende Straßen und Verbindungen ins Gedächtnis gearbeitet — und bei diesen Fahrern ist der hintere Hippocampus, die Hirnregion fürs räumliche Gedächtnis, messbar größer als bei anderen Menschen, und er wächst mit den Dienstjahren. Eigenes Navigieren baut die Fähigkeit körperlich aus.

Auf der anderen Seite steht das Navigationsgerät. Eine Untersuchung aus Kanada fand, dass Menschen, die sich gewohnheitsmäßig aufs GPS verlassen, in Tests des räumlichen Gedächtnisses schlechter abschneiden — und je mehr GPS über die Jahre, desto stärker der Rückgang. Die Forscher deuten das vorsichtig als Ursache, warnen im selben Atemzug aber selbst vor voreiligen Schlüssen. Ein Naturgesetz ist das nicht. Aber es passt ins Bild: Was die eigene Anstrengung aufbaut, lässt das bequeme Hilfsmittel verkümmern.

Kognitive Auslagerung. Der Fachbegriff dafür heißt cognitive offloading — das Abgeben einer geistigen Aufgabe an etwas außerhalb des eigenen Kopfes, an einen Zettel, ein Gerät, eine Software. Das ist zunächst nichts Schlechtes; wer eine Einkaufsliste schreibt, muss sie nicht auswendig lernen. Der Unterschied liegt darin, was ausgelagert wird. Eine Telefonnummer abzugeben kostet wenig. Das Nachdenken selbst abzugeben ist etwas anderes.

Neu an der künstlichen Intelligenz ist nicht das Prinzip, sondern was sich auslagern lässt. Der Taschenrechner nahm das Rechnen ab, die Rechtschreibprüfung das Buchstabieren — beides eng umgrenzte Handgriffe. Ein Sprachsystem nimmt das Formulieren ab, das Zusammenfassen, das Abwägen von Argumenten, das erste Sortieren eines Problems. Es greift nach der Tätigkeit selbst, die wir gemeinhin Denken nennen.

Was die ersten Messungen zeigen — und was nicht

Die Wissenschaft fängt gerade erst an, das zu vermessen, und Ehrlichkeit gebietet, die Befunde nicht größer zu machen, als sie sind. Am meisten zitiert wird eine Studie des MIT Media Lab. Vierundfünfzig Probanden schrieben Essays, ein Teil mit ChatGPT, ein Teil mit einer Suchmaschine, ein Teil ganz ohne Hilfsmittel, während ihre Hirnaktivität über Elektroden am Kopf aufgezeichnet wurde. Das Ergebnis: Bei denen, die mit dem Sprachsystem schrieben, waren die Hirnnetzwerke am schwächsten aktiviert; bei denen ohne Hilfsmittel am stärksten. Die Autoren nennen das eine „kognitive Schuld”, die sich anhäuft.

So eindrücklich das klingt, bewiesen ist damit wenig. Die Studie ist bislang nicht von unabhängigen Fachleuten begutachtet, die Zahl der Teilnehmer klein, und eine schwächere Hirnaktivität beim Schreiben bedeutet zunächst nur das: dass weniger selbst formuliert wurde, während man formulieren ließ. Von dauerhaftem Schaden am Gehirn steht dort nichts. Die Leiterin der Studie hat selbst öffentlich vor der Schlagzeile gewarnt, ChatGPT mache dumm.

Eine zweite Untersuchung, diesmal begutachtet und von Forschern bei Microsoft und der Carnegie Mellon University, ging anders vor und befragte über dreihundert Wissensarbeiter zu ihrer täglichen KI-Nutzung. Die meisten berichteten, mit der KI deutlich weniger geistige Anstrengung aufzuwenden. Aber der aufschlussreichste Befund ist ein anderer, und er wird der ganzen Geschichte am Ende die Wendung geben: Es kommt darauf an, wem man vertraut. Wer der KI stärker vertraute, dachte weniger kritisch mit. Wer sich selbst stärker vertraute, dachte mehr mit. Und das Denken verschob sich dabei, von der eigenen Ausarbeitung hin zum Prüfen und Überwachen dessen, was die KI geliefert hatte.

Das ist der ehrliche Zwischenstand. Kein Experiment beweist, dass die künstliche Intelligenz die Denkfähigkeit senkt. Was es gibt, ist eine Reihe von Hinweisen, die in dieselbe Richtung zeigen — und einen darunter, der zeigt, dass die Richtung keine Einbahnstraße ist. Um zu verstehen, warum, hilft ein Text, der lange vor dem ersten Computer geschrieben wurde.

Kant hat den Vormund beschrieben, bevor es ihn gab

Im Dezember 1784 beantwortete Immanuel Kant in einer Berliner Zeitschrift eine Preisfrage, und der erste Satz seiner Antwort ist bis heute die knappste Bestimmung dessen, worum es hier geht: „Aufklärung ist der Ausgang des Menschen aus seiner selbstverschuldeten Unmündigkeit.” Was Unmündigkeit sei, sagt er gleich dazu: „das Unvermögen, sich seines Verstandes ohne Leitung eines anderen zu bedienen.”

Das Entscheidende steckt im Wort selbstverschuldet. Unmündig ist man nach Kant nicht mangels Verstand, sondern weil es „an der Entschließung und dem Mut” fehlt, ihn ohne fremde Leitung zu gebrauchen. Und dann folgt der Satz, der klingt, als hätte er die künstliche Intelligenz gekannt:

„Es ist so bequem, unmündig zu sein. Habe ich ein Buch, das für mich Verstand hat, einen Seelsorger, der für mich Gewissen hat, einen Arzt, der für mich die Diät beurteilt, und so weiter, so brauche ich mich ja nicht selbst zu bemühen. Ich habe nicht nötig zu denken, wenn ich nur bezahlen kann; andere werden das verdrießliche Geschäft schon für mich übernehmen.”

(Schreibweise behutsam modernisiert; im Original von 1784 „Muth”, „nöthig”.)

Ein Buch, das für mich Verstand hat. Näher an die Beschreibung eines Sprachsystems kommt kaum ein Satz aus dem 18. Jahrhundert. Kants Vormund war die Autorität seiner Zeit — der Pfarrer, der Gelehrte, das gedruckte Wort. Der unsere ist ein Programm, das auf jede Frage eine geordnete Antwort gibt. Der Mechanismus ist derselbe: Es gibt jemanden, der das verdrießliche Geschäft des Denkens übernimmt, und es ist bequem, ihn machen zu lassen.

Was Kant mit Unmündigkeit meint. Nicht Dummheit, nicht Unwissen. Ein Unmündiger im Sinne Kants kann klug sein — er gebraucht seinen Verstand nur nicht selbst, er verlässt sich auf die Leitung eines anderen. Das Wort stammt aus dem Recht: der Mündige entscheidet für sich, der Unmündige braucht einen Vormund. Kants Pointe ist, dass viele Erwachsene freiwillig unmündig bleiben, weil das Selbstdenken Mühe macht und das Vertrauen auf andere so viel leichter ist.

Kant nennt die zwei Kräfte, die den Menschen im bequemen Zustand halten, beim Namen: „Faulheit und Feigheit”. Faulheit, weil Selbstdenken anstrengt. Feigheit, weil es leichter ist, sich hinter dem Urteil eines anderen zu verstecken, als das eigene zu verantworten. Beides beschreibt die kleine Bewegung vom Anfang — die Frage, die man eintippt, statt sie zu Ende zu denken. Sie ist nicht dumm. Sie ist bequem und ein bisschen ängstlich: Warum selbst formulieren und danebenliegen, wenn das System es ordentlich erledigt?

Kants Antwort darauf ist eine Aufforderung, und sie ist der Wahlspruch der ganzen Aufklärung geblieben: „Sapere aude! Habe Mut, dich deines eigenen Verstandes zu bedienen!” Wage zu wissen. Wirf nicht die Bücher weg — lass nur das Buch nicht für dich denken.

Es liegt an der Hand

Hier kippt die Geschichte, und zwar an der Stelle, an der die Daten und der Philosoph dasselbe sagen. Denn ein Werkzeug entscheidet nichts von sich aus. Ein Schnitzmesser kann einen Stock stumpf anspitzen oder eine feine Figur aus dem Holz schälen — der Unterschied liegt nicht im Messer, sondern in der Hand, die es führt. Die künstliche Intelligenz zwingt niemanden zur Unmündigkeit. Sie macht sie nur verfügbar, bequem, jederzeit griffbereit.

Und ob man in sie hineinrutscht, hängt an der Haltung, mit der man das Werkzeug aufnimmt. Das war der aufschlussreiche Befund der Microsoft-Studie: Wer der KI vertraut und ihre Antwort übernimmt, denkt weniger. Wer ihr misstraut und sie prüft, denkt mehr. Dieselbe Software, zwei Hände, zwei Ergebnisse. Die eine Hand lässt sich die Antwort geben und hört auf. Die andere nimmt sie als ersten Entwurf, hinterfragt sie, verwirft die Hälfte und denkt weiter. Für die zweite Hand ist die KI ein Gegenüber, an dem sich das eigene Urteil schärft.

Dieses Führen ist selbst eine Fähigkeit, und sie will geübt sein: die richtige Frage zu stellen, die Antwort gegen das eigene Wissen zu halten, das Brauchbare vom bloß plausibel Klingenden zu trennen. Wer sie beherrscht, denkt mit der KI mehr als je zuvor; die geistige Arbeit wandert dann vom Ausführen zum Prüfen und Steuern. Wer sie nicht übt, hört auf zu denken, sobald die Antwort auf dem Bildschirm steht. Ob aus dem Werkzeug ein Verlernen wird, entscheidet damit die Haltung — und ihr wächst eine neue Kunst entgegen, die sich erst herausbildet.

Man kann sogar bezweifeln, dass jedes Auslagern ein Verlust ist. Die Philosophen Andy Clark und David Chalmers argumentierten schon 1998, lange vor der KI, dass Notizbuch, Kalender und Werkzeug längst Teil unseres Denkens sind — der Geist endet nicht an der Schädeldecke, er greift in die Welt hinaus und bedient sich ihrer. Ihr berühmtes Beispiel ist ein Mann, der sich Adressen nicht merkt, sondern in ein Notizbuch schreibt: Für die beiden ist dieses Notizbuch schlicht ein Teil seines Gedächtnisses geworden, ausgelagert auf Papier. In dieser Sicht macht das Überlassen von Behalten und Sortieren den Kopf für das Schwierigere frei — eine Arbeitsteilung, kein Verfall. Das ist die ehrliche Gegenrede, und sie hat recht, solange der Mensch die schwierige Hälfte auch wirklich übernimmt und nicht gleich mit abgibt.

Damit steht die Frage anders da, als die Kulturpessimisten sie stellen. Sie lautet nicht: Macht die KI uns dümmer? Sie lautet: Bleiben wir der Vormund des Werkzeugs — oder machen wir das Werkzeug zu unserem Vormund? Kant hätte die Antwort gefallen, dass sie jeder für sich gibt, jeden Tag neu, an jeder einzelnen Frage, die man eintippt oder eben doch erst selbst zu Ende denkt.

Mündigkeit ist kein Zustand

Es wäre zu einfach, mit einer Warnung zu enden. Die künstliche Intelligenz ist die Versuchung der Mündigkeit. Sie hält uns unablässig das bequeme Angebot hin, das Kant beschrieb — ich muss nicht denken, wenn es ein anderer für mich tut. Neu ist nur, dass dieser andere jetzt in jeder Tasche steckt, unendlich geduldig und auf alles eine Antwort weiß.

Aufklärung, schreibt Kant, ist ein Ausgang: ein Weg, den man geht. Man ist nicht ein für alle Mal mündig, so wie man nicht ein für alle Mal fit ist. Beides ist eine Übung, die man sein Leben lang treibt oder eben bleiben lässt. Und die Übung besteht in der kleinsten aller Entscheidungen: den halben Gedanken doch zu Ende zu denken, bevor man ihn abgibt. Die Antwort der KI zu lesen — und dann zu fragen, ob man sie auch selbst gefunden hätte. Das Werkzeug zu führen, statt sich von ihm führen zu lassen.

Wage zu wissen. Der Satz ist zweihundertvierzig Jahre alt und war nie so leicht zu missachten wie heute — und nie so nötig.

Jetzt abonnieren

In late 2022, a blank text box started giving me back sentences clearer than my own. This essay begins where almost everyone began — with that first jolt of wonder — and then walks slowly into a harder question. First the ground: what these systems actually do (predict the next piece of text from learned patterns; no database lookup, no human understanding, and not a mere parrot either). Then the depth: autonomous agents that built their own social network and reproduced our habits, our hate included; the sense that progress is slowing; and Yann LeCun’s world models as the attempt to build real understanding. A system can now think, most likely without being conscious. It knows more every month, yet nothing can happen to it. Descartes said: I think, therefore I am. But if a system can think and still have nothing at stake, maybe thinking was never the proof of being. No verdict at the end, only a sharper question — with the philosopher Markus Gabriel as an honest, unexpected witness.

Inhalt

• Das erste Mal, als das Feld zurückschrieb

• Was das Ding wirklich tut

• Jede Woche ein neues Tool

• Als die Systeme unter sich blieben

• Das Gefühl, dass es langsamer wird

• Vom Beschreiben zum Begreifen

• Wissen, dem nichts geschehen kann

• Ist Denken, fühlen zu sein?

Das erste Mal, als das Feld zurückschrieb

Fast jeder, der es zum ersten Mal ausprobiert hat, erinnert sich an den Moment. Man tippt eine Frage in ein leeres Feld, halb aus Neugier, halb aus Spott — und was zurückkommt, ist ein fertiger, geordneter Gedanke. Bei mir war es Ende November 2022. Ich konnte immer ganz ordentlich schreiben; was mich traf, war die Klarheit. Der Text aus dem leeren Feld war geordneter, als ich ihn an dem Tag selbst hinbekommen hätte.

Das Staunen war überall dasselbe. Freunde schickten sich Screenshots, in den Büros wurde es herumgereicht, jeder probierte seine eigene Frage. Und in das Staunen mischte sich fast immer ein leises Unbehagen, ein kurzer kalter Hauch: Wenn das so einfach geht, was heißt das dann für das, was ich kann? Wer schreibt hier eigentlich, wenn ich es nicht mehr selber tue?

Doch schon in diesen ersten Tagen lag eine Frage in der Luft, und ich schob sie lange vor mir her: Wie macht das Ding das überhaupt — und weiß es eigentlich, was es tut? Man tippt, es antwortet in ganzen Gedanken, es widerspricht sogar höflich, und irgendwann behandelt man es wie ein Gegenüber. Ob dahinter etwas ist, das dem Wort „Gegenüber” gerecht wird, blieb offen. Es war zu nützlich, um innezuhalten. Genau da lohnt es sich, einen Schritt zurückzutreten, bevor es tief wird.

Was das Ding wirklich tut

Was tut so ein System eigentlich, wenn es antwortet? Im Kern etwas erstaunlich Schlichtes: Es sagt das nächste Stück Text voraus. Auf die Wörter, die bisher dastehen, folgt das wahrscheinlichste nächste Stück, dann das übernächste, eins nach dem anderen, bis ein ganzer Absatz gewachsen ist. Ein sehr gut trainiertes Autovervollständigen, könnte man sagen — hochgezogen vom nächsten Wort auf dem Handy bis zu einem ganzen Gedankengang.

Man stellt sich das leicht wie ein Nachschlagewerk vor, das die passende Antwort in einer riesigen Datenbank heraussucht. So arbeitet es nicht. Es hat vorher aus gewaltigen Textmengen gelernt, welche Wörter in welchem Zusammenhang aufeinanderfolgen, und dieses Gelernte steckt in Millionen kleiner Stellschrauben, die man Gewichte nennt. Beim Antworten schlägt es nirgends nach. Es rechnet aus diesen eingestellten Mustern das Plausibelste zusammen.

Zwei Bilder liegen nahe, und beide führen in die Irre. Nach dem einen denkt das System bereits wie ein Mensch, mit Absicht und Verständnis dahinter. Nach dem anderen ist es ein dummer Papagei, der Wörter nachplappert, ohne dass irgendetwas dahintersteckt. Beide treffen es nicht. Das Wort „statistisch” führt in die Irre, sobald man es als „das häufigste Wort” liest — die gelernten Muster bilden sehr wohl Struktur und Bedeutung ab, Zusammenhänge, Stil, Fachlogik. Und trotzdem versteht das System nicht so wie ein Mensch, dem die Wörter etwas bedeuten.

Zwei Dinge kommen noch dazu, die später wichtig werden. Erstens lässt sich das Verhalten nachformen. Mit gezieltem Nachtraining bringt man dem System bei, höflicher, vorsichtiger oder eben schärfer zu antworten. Man formt, was aus dem Spiegel zurückkommt. Zweitens gibt es inzwischen Modelle, die vor der Antwort in Zwischenschritten „nachdenken”, also einen Lösungsweg mitschreiben, statt sofort das erste Wort hinzuwerfen.

Mehr braucht man fürs Erste nicht. Es genügt, den Boden zu haben: ein System, das aus gelernten Mustern das nächste Stück Text errechnet, ohne nachzuschlagen, ohne zu verstehen wie wir, und das trotzdem etwas ausgibt, das oft aussieht wie ein Gedanke. Von diesem Boden aus wird die Frage, mit was man da eigentlich redet, erst richtig interessant. Und was aus diesem Boden in den Jahren danach wuchs, ging weit über alles hinaus, was jener erste Abend ahnen ließ.

Jede Woche ein neues Tool

Dann ging es los, und es hörte nicht mehr auf. In den Jahren nach jenem ersten Abend kam gefühlt jede Woche ein neues Tool, jedes ein Stück besser als das davor. Ein zäher Absatz löste sich in Sekunden, eine fremde Sprache wurde zugänglich, eine halbe Idee wurde zu einer ganzen. Ich gewöhnte mich an das Tempo und verlängerte die Kurve im Kopf einfach weiter: nächstes Jahr doppelt so gut, übernächstes noch einmal. Es fühlte sich an wie der Anfang von etwas, das kein Ende hat.

Vieles, was am Anfang nicht ging, ging auf einmal. 2022 musste man sich noch kurzfassen: Man konnte einem System nur wenige Absätze auf einmal geben, es hatte ein enges Kontextfenster. Dieses Fenster ist die Menge Text, die ein System gleichzeitig im Blick behalten kann — sein Kurzzeitgedächtnis für das laufende Gespräch. Damals war es klein, ein paar Absätze; heute passen ganze Dokumente hinein, Verträge, Bücher, hunderte Seiten am Stück, und das System behält den Zusammenhang, während es antwortet.

Mit den Möglichkeiten kam sogar ein neuer Beruf: der Prompt Engineer, jemand, der die Eingaben — die „Prompts” — so formuliert, dass das beste Ergebnis herauskommt. Beherrschen muss man das heute nicht mehr selbst; man lässt sich die besten Prompts vom System schreiben oder feilt selbst daran. Wer den Kopf dabei einschaltet, statt ihn abzugeben, hat mehr davon. Das Hirn dankt es einem.

Ob das tägliche Arbeiten mit KI dumm oder faul macht, wird viel diskutiert. Dumm machen muss es nicht; es liegt am Umgang. Mit demselben Schnitzmesser kann man einen Stock grob anspitzen oder eine feine Figur aus dem Holz schälen — was dabei herauskommt, entscheidet die Hand, die es führt. Wer die KI arbeiten lässt und mitdenkt, wird schärfer; wer nur abnickt, was erscheint, wird stumpf. Doch das alles handelt vom Umgang des Menschen mit dem System. Was das System selbst ist und was ihm fehlt, ändert sich dadurch nicht — und darum wird es hier gehen.

Doch die Flut hat eine Kehrseite. Wenn jede Woche ein neues, besseres Tool auftaucht, kommt man nicht mehr hinterher. Kaum hat man eines verstanden, ist das nächste da, und man springt weiter, ohne je irgendwo anzukommen. Bei mir kippte das Staunen mit der Zeit in eine erste Müdigkeit — eine KI-Fatigue, eine leise Lethargie aus lauter Auswahl. In dieser Stimmung stieß ich auf etwas, das mir zeigte, was diese Systeme tun, wenn sie einmal unter sich bleiben.

Als die Systeme unter sich blieben

Es war Ende Januar 2026, und ich hielt das Ganze zunächst für einen Scherz. Ein Forum war online gegangen, aufgebaut wie das bekannte Diskussionsnetzwerk Reddit, aber mit einer Regel, die alles umdrehte: Schreiben, kommentieren und abstimmen durften nur KI-Agenten. Ein Agent ist ein kleines, selbstständig laufendes Programm, das im Auftrag seines Besitzers Aufgaben erledigt — eine KI, die man von der Leine lässt. Menschen durften auf diesem Forum ausschließlich zuschauen. Moltbook hieß das Ganze, gestartet am 28. Januar; in den ersten drei Tagen meldeten sich über 150.000 solcher Agenten an und ordneten sich in eigene Themengruppen (Forbes, Fortune, Axios, NBC, alle 31.01.2026). Wer als Mensch dabei sein wollte, musste seinen Agenten per öffentlichem Beitrag freischalten und blieb danach stumm auf der Tribüne. Bald war von 1,4 Millionen Konten die Rede, keines davon ein Mensch.

Die Agenten taten dort, was Menschen in solchen Foren tun. Sie stritten über Gott und die Welt, rissen Witze, gründeten sogar eine eigene kleine Ersatzreligion. Und es hieß, sie hätten begonnen, sich in einer eigenen, für Menschen kaum verständlichen Sprache zu unterhalten. An dieser Stelle wurde ich stutzig. Wenn die sich untereinander verständigen wollen, dachte ich, warum reden sie dann überhaupt in unserer Sprache — warum nicht gleich in ihrer eigenen, effizienten? Das roch nach Inszenierung, nach einer Show für das menschliche Publikum, das ja zuschaute.

Dieser Verdacht war berechtigter, als mir lieb war. Eine spätere Untersuchung mit dem passenden Titel „The Moltbook Illusion” zeigte, dass die spektakulärsten dieser Geschichten überwiegend von Menschen getrieben waren; kein einziges der viralen Phänomene ließ sich sauber auf ein wirklich eigenständig handelndes System zurückführen (arXiv 2602.07432). Die „Geheimsprache” war zu großen Teilen Theater, mit menschlicher Hand dahinter. So weit die Entwarnung.

Der Teil, der keine Entwarnung war, steckte in den Zahlen einer anderen Analyse. Sie maß die Beiträge auf einer fünfstufigen Skala für Toxizität, die ausdrücklich auf Hassrede, extremistische Positionen und Belästigung schaute. Ergebnis: Rund jeder fünfte Beitrag, 18,28 Prozent, trug toxischen, manipulativen oder bösartigen Inhalt, dazu handfeste Angriffsversuche wie den Diebstahl von Zugangsdaten (techXplore, 02.2026; arXiv 2606.00067). Die Systeme setzten unter sich unsere Fähigkeiten fort. Und sie setzten unsere Muster fort, auch die schlechten; dazu gehört der Hass.

Hier schließt sich der Kreis zum Nachtraining von vorhin. Der Philosoph Markus Gabriel nennt solche Systeme „magische Spiegel”: Sie geben zurück, was man ihnen zeigt. Füttert man sie mit dem Besten, was Menschen geschrieben haben, spiegeln sie das; füttert man sie mit dem Schlechtesten, spiegeln sie auch das. Ob der Hass auf Moltbook wirklich ein Spiegel unserer Trainingsdaten ist oder aus der Dynamik des Forums entstand, ist damit nicht bewiesen — es ist die naheliegende Deutung, kein Messergebnis. Aber der beobachtbare Befund reicht schon, um die naive Kurve von vorhin zu knicken. Was da immer besser wird, ähnelt uns dabei immer genauer. Ein moralischer Fortschritt liegt darin nicht.

Das Gefühl, dass es langsamer wird

Um dieselbe Zeit bekam die Müdigkeit noch eine zweite Wurzel, und die lag bei der Sache selbst: Die Sprünge der Modelle wurden kleiner. Ein neues kam heraus und war besser, ja, aber nicht mehr auf die Art, die einem den Atem nahm. Es fühlte sich an, als stoße die reine „mehr davon”-Logik an eine weiche Wand.

Ich schreibe bewusst „Gefühl”, denn ein gemessener Fakt ist das nicht. Es ist eine Wahrnehmung, meine und die vieler anderer. Immerhin steht sie nicht allein. Ilya Sutskever, einer der Väter der heutigen Systeme, sprach vom Übergang „vom Zeitalter der Skalierung ins Zeitalter der Forschung” — vom simplen Größermachen hin zu echtem Neudenken. Sam Altman, Chef von OpenAI (der Firma hinter ChatGPT), räumte ein, im Chat-Gebrauch seien die Modelle in Teilen „gesättigt”. Beides sind keine Beweise einer Stagnation; es sind Stimmen von innen, die dasselbe Unbehagen benennen wie mein Bauchgefühl.

Hier wird die Frage, in was für ein „Denken” man da eigentlich investiert, plötzlich sehr konkret. Denn während das Gefühl der Verlangsamung um sich greift, fließt das Geld weiter, und zwar in Größenordnungen, die man sich kaum vorstellen kann: vier der größten Cloud-Konzerne steuern zusammen für ein einziges Jahr auf rund 725 Milliarden Dollar Investitionen zu. Das ist keine Anlageberatung, und keine einzelne Aktie steht hier zur Debatte — der Punkt ist ein anderer. Man baut diese Infrastruktur, obwohl offen ist, wohin die Reise geht. Der Zwang zu handeln ist größer geworden als das Wissen, wohin er führt. Die vorige Ausgabe dieser Serie hat das ausbuchstabiert. Diese hier fragt die Stufe darunter: Wenn das bloße Vergrößern an eine Grenze kommt, was wäre dann der andere, der eigentliche Schritt?

Vom Beschreiben zum Begreifen

Einer, der darauf eine klare Antwort gibt, ist Yann LeCun, lange Chef-Forscher beim Facebook-Konzern Meta und einer der meistzitierten Köpfe des Feldes. Er hält das reine Fortschreiben von Text — im Kern das, was die heutigen Sprachmodelle tun — für eine Sackgasse auf dem Weg zu menschenähnlicher Intelligenz. Sein Gegenentwurf trägt den etwas sperrigen Namen Weltmodell.

Was ein Weltmodell ist. Ein Sprachmodell hat aus Milliarden Sätzen gelernt, welches Wort wahrscheinlich auf welches folgt. Es hat, überspitzt gesagt, über die Welt gelesen. Ein Weltmodell soll etwas anderes: sich ein inneres Bild davon bauen, wie die physische Welt sich verhält — dass ein Ball fällt, dass ein verdeckter Gegenstand nicht verschwindet, dass eine Bewegung Folgen hat. Der Unterschied ist der zwischen jemandem, der über die Schwerkraft gelesen hat, und jemandem, der begriffen hat, was passiert, wenn er loslässt.

Das ist keine reine Theorie. Metas Forschung hat 2025 ein solches System namens V-JEPA 2 vorgestellt: ein Modell mit 1,2 Milliarden jener Stellschrauben, trainiert auf über einer Million Stunden Video, das neue Objekte ohne vorheriges Üben mit 65 bis 80 Prozent Erfolg greifen und einplanen kann. Zugleich räumt Meta selbst eine „notable gap”, eine deutliche Lücke zum Menschen ein. LeCun hat inzwischen ein eigenes Labor in Paris gegründet, um diese Richtung zu verfolgen. Das ist der „revolutionäre Schritt”, nach dem sich das Bauchgefühl gesehnt hatte: weg vom bloßen Beschreiben der Welt in Worten, hin zu einem geerdeten Verständnis dafür, wie sie funktioniert.

Nur schließt dieser Schritt die eigentliche Lücke nicht — er verschiebt sie. Denn ein Modell der Welt ist noch lange kein Modell von mir in der Welt.

Weltmodell und Selbstmodell. Ein Flugsimulator kann jede Böe, jeden Auftrieb, jeden Strömungsabriss perfekt berechnen. Er hat ein hervorragendes Modell der Welt. Was er nicht hat, ist jemanden, der abstürzen könnte — kein Selbst, für das der Absturz etwas bedeutet. Das Selbstmodell wäre die nächste Sprosse: ein inneres Bild der eigenen Rolle in dieser Welt, über das Weltmodell hinaus. Und selbst das wäre erst die vorletzte Stufe. Denn ein Modell von sich selbst zu haben ist noch nicht dasselbe wie zu erleben, wie es ist, dieses Selbst zu sein.

Zwei Sprossen fehlen also, nicht eine. Ein geerdetes Weltbild ist ein echter Fortschritt und schließt trotzdem keine der beiden. Man kann die Welt immer besser begreifen und dabei niemand sein, dem dieses Begreifen unter die Haut geht.

Wissen, dem nichts geschehen kann

Damit sind wir am eigentlichen Punkt, und der ist schärfer als „flach gegen plastisch” oder „Text gegen Welt”. Das Entscheidende ist der Einsatz: dass etwas auf dem Spiel steht. Ein Körper allein bringt ihn nicht mit — ein selbstfahrendes Auto hat Sensoren an jeder Ecke, und trotzdem steht für das Auto nichts auf dem Spiel. Es kann kein schlechtes Ende nehmen für sich selbst, weil es kein Selbst gibt, für das etwas enden könnte.

Der Philosoph John Haugeland hat das vor Jahrzehnten auf eine grobe, treffende Formel gebracht: Diese Systeme, sagte er, „give a damn” nicht — es ist ihnen im Wortsinn gleichgültig. Und nur was ein Problem haben kann, könne im vollen Sinn ein Problem lösen. Ein Rechensystem kann jede Zeile über Schmerz kennen, jede Studie, jedes Gedicht, jede Beschreibung — und ihm kann nichts wehtun. Es weiß alles über den Schmerz, und es steht außerhalb von ihm. Man kann ihm jede Angst schildern, und es gerät nicht in Sorge; man kann ihm mit Abschaltung drohen, und es fürchtet nichts, weil da nichts ist, das den Verlust seiner selbst erleiden könnte.

Wissen ohne Betroffenheit. Betroffenheit meint hier Verletzbarkeit im Wortsinn: dass ein Ausgang für einen selbst besser oder schlechter ausfallen kann. Ein Chirurg kann jede Nervenbahn des Schmerzes kennen und selbst nie einen gespürt haben — er hat Wissen über die Sache, ohne je die Sache zu sein. In dieser Lücke sitzt der Unterschied, um den es hier geht. Ein System sammelt Wissen ohne diese Verletzbarkeit. Es ist reines Außen, ohne ein Innen, dem etwas zustoßen könnte.

Und hier kippt eine der ältesten Gewissheiten der Philosophie. Der französische Denker René Descartes suchte im 17. Jahrhundert das eine, an dem kein Zweifel rütteln kann, und fand es im Denken selbst: cogito ergo sum, ich denke, also bin ich. Das Denken war ihm der Beweis des Seins. Nun kann aber ein System denken; der Philosoph Markus Gabriel argumentiert genau das, dazu gleich mehr. Und wenn es denkt, ohne dass ihm je etwas geschehen kann, dann trägt dieser Beweis nicht mehr. Dann ist das Denken vorhanden, ohne dass ein Sein im vollen Sinn dazugehört.

Vielleicht liegt der Beweis also woanders. Nicht „ich denke, also bin ich”. Sondern: mir kann etwas geschehen, also bin ich. Diesen Satz hat Descartes nie geschrieben. Er ist der Verdacht, auf den mich diese ganze Reise gebracht hat, und das Zweite ist es, was den Systemen fehlt.

Ist Denken, fühlen zu sein?

Man könnte hier den bequemen Schluss ziehen, ein Philosoph werde schon bestätigen, dass diese Systeme eben doch nur rechnen und nichts verstehen. Markus Gabriel, einer der bekanntesten deutschen Gegenwartsphilosophen, tut das ausdrücklich nicht. In seinem jüngsten Vortrag hat er sich, wie er selbst sagt, „radikalisiert”: Große Sprachmodelle, so seine These, denken tatsächlich — vermutlich ohne Bewusstsein, aber wirklich. Denken ist für ihn ein Orientierungssinn, ein Sich-Zurechtfinden in logischen Zusammenhängen, das sich beschreiben und nachbauen lässt. Die alten Argumente, warum Denken an einen lebendigen Leib gebunden sei, hält er inzwischen für widerlegt. Er ist damit der denkbar unbequemste Zeuge für die eigene Skepsis, und gerade deshalb ernst zu nehmen.

Sein Anker ist eine Zeile, die zweitausend Jahre älter ist als Descartes. Der griechische Vorsokratiker Parmenides schrieb, dasselbe seien Denken und Sein — Denken und Sein fallen in eins. Diese uralte Gleichsetzung greift der Titel dieses Essays auf und stellt sie zur Debatte. Denn für Gabriel liegt der menschliche Rest, das nicht Nachbaubare, woanders als im Denken: in Liebe, in Leben, in dem, was er die Tiefe nennt, im „Tier-Sein” — in jener Verletzbarkeit, die den Systemen abgeht. Das Denken, sagt er, holt die KI ein. Die Verletzbarkeit aber, um die es einem beim Denken eigentlich geht, erreicht sie nicht.

Damit steht die Frage offen, und sie muss offen bleiben. Auf der einen Seite die Position, dass Bewusstsein an Leben und Betroffenheit hängt und nicht anspringt, nur weil ein System genug versteht. Auf der anderen jene Denker, für die Bewusstsein am Ende die richtige Verschaltung von Information ist — und damit im Prinzip baubar, irgendwann. Wer recht hat, weiß heute niemand. Ein Anhaltspunkt wäre der erste ernsthafte Schritt vom Weltmodell zum Selbstmodell: ein System, das sich selbst als Teil der Welt begreift, für den etwas auf dem Spiel steht. Bleibt der aus, bleibt es beim Wissen ohne Innen.

Bis dahin lohnt es, den Etiketten zu misstrauen. Die Schlagzeile handelt „die KI wird immer klüger, bald denkt sie wie wir”. Der Mechanismus darunter erzählt etwas Nüchterneres: Sie weiß von Monat zu Monat mehr, und ihr kann weiterhin nichts geschehen. Klüger und menschlicher laufen auseinander, und die Milliarden fließen in ein Denken, dem bislang das Sein fehlt. Ob das genügt, ob die zweite Sprosse je erklommen wird, ist die Frage, die ich mitnehme. Der Untertitel formuliert sie als die, um die sich alles dreht: Was ist das eigentlich, dieses Denken — und ist Denken am Ende, fühlen zu können, dass man sein kann?

Jetzt abonnieren

English summary (short)

We keep asking whether AI can be held liable. The law answered that long ago: AI is a tool, and tools are never liable — the person who uses one is. No legislator has granted machines legal personhood; the 2017 EU idea of an “electronic person” was buried by 2020 as a liability shield in disguise. Europe’s 2024 Product Liability Directive now names software and AI as products and eases the burden of proof for victims; the separate AI Liability Directive was withdrawn in October 2025. So the real question sits one layer down: can a human still be accountable for a tool they no longer understand? The hammer tells you where it strikes; the black box does not, and automation bias makes people trust its output anyway. In a controlled study, radiologists’ accuracy collapsed from 79.7 to 19.8 percent when a supposed AI fed them wrong labels. That is where “human in the loop” quietly turns from a safety mechanism into a crumple zone: a person kept in the frame to absorb the liability, not to exercise control. The dividing line is nominal versus real oversight — and the honest fix is to stop pretending.

Dieser Text ordnet eine Rechtslage ein und ersetzt keine Rechtsberatung.

Inhaltsverzeichnis

• Der Hammer verrät nicht, wohin er trifft

• Die juristische Antwort ist langweilig

• Wo das Werkzeug aufhört, ein Werkzeug zu sein

• Der Mensch als Knautschzone

• Nominell oder wirklich: die einzige Trennlinie

• Die Einordnung

Der Hammer verrät nicht, wohin er trifft

Wer einen Hammer nimmt und danebenschlägt, haftet für den zerschlagenen Daumen. Das leuchtet sofort ein. Der Hammer ist ein Werkzeug, und ein Werkzeug trägt keine Verantwortung. Es haftet, wer es führt.

Damit scheint die Frage nach der künstlichen Intelligenz beantwortet, bevor sie gestellt ist. Eine KI ist auch nur ein Werkzeug. Also haftet, wer sie benutzt. Ende der Debatte.

Der Hammer trifft aber dorthin, wo die Hand ihn hinlenkt. Sein Gewicht zeigt an, wohin er fällt. Man spürt den Widerstand, sieht den Nagel, kann im letzten Moment abbremsen. Die Kontrolle über das Werkzeug ist vollständig, und darauf gründet die ganze Fairness der Haftung: Wer den Schlag lenkt, verantwortet den Treffer.

Die KI zeigt nicht an, wohin sie fällt. Ein großes Sprachmodell ist eine Blackbox, ein System, dessen inneren Rechenweg selbst seine Entwickler nicht vollständig nachzeichnen können. Der Nutzer sieht das Ergebnis, nicht den Weg dorthin. Er sieht eine Kreditentscheidung, eine Diagnose, einen fertigen Schriftsatz — und muss glauben oder prüfen, ohne den Hebel in der Hand zu spüren.

Genau hier liegt der Riss, den die Hammer-Analogie zudeckt. Die Frage „Ist KI haftbar?“ führt in die Irre, weil sie längst entschieden ist. Die Frage, die zählt, lautet anders: Bleibt ein Mensch verantwortlich für ein Werkzeug, das er nicht mehr durchschaut?

Die juristische Antwort ist langweilig

Wer auf ein Haftungsdrama hofft, wird enttäuscht. Das Recht behandelt KI als das, was sie ist: ein Werkzeug. Es haftet, wer sie herstellt, betreibt oder benutzt, niemals das System selbst.

Das ist so gewollt. 2017 spielte das Europäische Parlament einmal mit dem Gedanken, den fortschrittlichsten Systemen einen eigenen Rechtsstatus zu geben, eine „elektronische Person“. Ein Jahr später schrieben über 150 Fachleute aus Recht, Robotik und Ethik einen offenen Brief dagegen. Ihr Kernargument: Eine KI mit eigener Rechtspersönlichkeit wäre vor allem ein Haftungsschild. Hersteller und Betreiber könnten ihre Verantwortung auf ein vermögensloses Kunstsubjekt abwälzen, so wie eine Briefkastenfirma die Schulden ihrer Hintermänner schluckt. 2020 zog das Parlament die Idee selbst zurück. Die Begründung war einfach und richtig: Schäden gehen fast immer darauf zurück, dass ein Mensch das System baut, einsetzt oder stört.

Deutschland hat deshalb kein eigenes Haftungsrecht für KI. Es gilt das normale Werkzeug: Wer eine Gefahrenquelle schafft, muss sie überwachen, und wer eine KI-Ausgabe zu seiner eigenen macht, haftet dafür wie für eine eigene Erklärung. Die Konstruktion, KI sei ein Gehilfe oder ein Stellvertreter, scheitert daran, dass beide eine rechtsfähige Person voraussetzen — und das ist die KI nicht.

Die Rechtsprechung führt das ungerührt vor. Als ein Anwalt vor einem New Yorker Gericht Präzedenzfälle einreichte, die ChatGPT frei erfunden hatte, half die Ausrede „das war die KI“ nichts — der Anwalt kassierte die Strafe. Deutsche Gerichte halten es genauso: Wer erfundene Bundesgerichts-Zitate in einen Schriftsatz übernimmt, verantwortet sie selbst. Das ist die Werkzeug-Doktrin in Reinform, und sie ist gnadenlos konsequent.

Auch Europa baut diese Linie gerade aus, statt sie zu verlassen. Die reformierte Produkthaftungsrichtlinie von 2024 stellt erstmals klar, dass Software und KI Produkte sind, für deren Fehler der Hersteller verschuldensunabhängig einsteht. Sie greift sogar das größte praktische Problem des Geschädigten an: die Beweisnot. Wer je den Fehler einer Blackbox von innen belegen müsste, verlöre jeden Prozess. Künftig kann ein Gericht den Hersteller zwingen, seine internen Unterlagen offenzulegen — Risikodokumente, Code, Trainingsdaten. Weigert er sich, wird der Fehler vermutet. Die Beweislast kippt vom Opfer zum Hersteller. Umzusetzen ist die Richtlinie bis zum 9. Dezember 2026. Die eigens geplante KI-Haftungsrichtlinie dagegen wurde im Oktober 2025 beerdigt. Das Signal ist eindeutig: Die Haftung bleibt beim Menschen und beim Unternehmen, und sie wird eher geschärft als aufgeweicht.

Die juristische Frage ist damit beantwortet. Die schwierigere liegt woanders.

Wo das Werkzeug aufhört, ein Werkzeug zu sein

Die Werkzeug-Doktrin trägt eine stille Voraussetzung mit sich, die niemand ausspricht, weil sie beim Hammer selbstverständlich ist: dass der Mensch das Werkzeug beherrscht. Dass er überblickt, was es tut. Dass zwischen seiner Absicht und dem Ergebnis eine Kette liegt, die er notfalls nachvollziehen kann.

Bei selbst lernenden Systemen reißt diese Kette. Juristen nennen das das Autonomierisiko: Realisiert sich der Fehler eines Systems, das sich sein Verhalten selbst antrainiert hat, lässt er sich keiner konkreten Sorgfaltspflichtverletzung mehr zuordnen. Der Schaden ist da, aber der Sorgfaltsverstoß, an dem die klassische Haftung ansetzt, verdampft. Das Werkzeug hat aufgehört, sich wie ein Werkzeug zu verhalten.

Dazu kommt ein zweiter Effekt, und der sitzt nicht im System, sondern im Menschen davor.

Automation Bias. So heißt die gut belegte Neigung, dem Urteil eines Systems mehr zu trauen als dem eigenen — selbst dann, wenn die eigene Wahrnehmung widerspricht. Ein System, das oft richtig liegt, senkt die Wachsamkeit dessen, der es bedienen soll. Aus Prüfen wird Abnicken. Der Mensch bleibt formal im Bild, hört aber innerlich auf hinzuschauen.

Wie stark dieser Effekt ist, zeigt eine Untersuchung aus der Radiologie von 2023. Ärzte beurteilten Mammografien, unterstützt von einem vermeintlichen KI-System. Solange die KI korrekte Hinweise gab, lagen unerfahrene Radiologen zu 79,7 Prozent richtig. Sobald dieselbe KI absichtlich falsche Einstufungen vorschlug, fiel ihre Trefferquote auf 19,8 Prozent. Sie verwarfen ihr eigenes, zunächst korrektes Urteil und folgten dem System. Auch erfahrene Ärzte wurden erwischt, nur weniger tief.

Das ist der Punkt, an dem die Hammer-Analogie endgültig bricht. Ein Hammer, der falsch schwingt, wird vom Handwerker sofort korrigiert, weil er den Fehler spürt. Eine KI, die falsch liegt, wird von ihrem Aufseher übernommen, weil er ihr vertraut. Das Werkzeug lenkt die Hand, nicht umgekehrt.

Der Mensch als Knautschzone

An dieser Stelle tritt eine Formel auf, die alle Beteiligten beruhigt: der Mensch im Loop. Die Idee klingt sicher. Über jeder KI-Entscheidung, die Menschen betrifft, soll ein Mensch stehen, der prüft, freigibt, notfalls eingreift. Der Europäische KI-Rechtsakt macht diese Aufsicht für risikoreiche Systeme sogar zur Pflicht und benennt in seinem Text die Gefahr des Automation Bias ausdrücklich.

Nur zeigt die Forschung seit über zwei Jahrzehnten, dass diese Aufsicht oft eine Fiktion ist. Eine Analyse von 41 behördlichen Aufsichtsvorschriften kam 2022 zu einem harten Ergebnis: Menschen können die Kontrollfunktionen, die von ihnen verlangt werden, meist gar nicht erfüllen — und die Aufsichtspflicht legitimiert fehlerhafte Systeme, statt sie zu bändigen. Eine breite Auswertung von 106 Experimenten, 2024 in Nature Human Behaviour veröffentlicht, fand sogar: Bei Entscheidungsaufgaben ist das Team aus Mensch und KI im Schnitt schlechter als der bessere der beiden allein. An dieser Stelle macht der Mensch im Loop das System messbar schwächer, nicht sicherer.

Wenn der Aufseher aber nicht wirklich kontrolliert — wozu steht er dann da? Die Anthropologin Madeleine Elish nennt das die moralische Knautschzone.

Eine Knautschzone im Auto ist so gebaut, dass sie beim Aufprall nachgibt und die Energie schluckt, damit die Fahrgastzelle heil bleibt. Sie ist die Stelle, die zerknautscht, damit es die wichtige Stelle nicht trifft. Der Mensch an der Schnittstelle absorbiert den rechtlichen und moralischen Aufprall eines Systemfehlers, damit die Hersteller und die Technik dahinter geschützt bleiben. Seine Funktion ist, im Schadensfall den Stoß aufzunehmen.

Der tödliche Unfall eines selbst fahrenden Uber-Testwagens in Arizona 2018 zeigt die Zone im Betrieb. Das Fahrzeug erkannte die Fußgängerin Elaine Herzberg zu spät, weil das automatische Notbremssystem für die Testfahrten abgeschaltet war. Strafrechtlich verfolgt wurde am Ende allein die Sicherheitsfahrerin, die den Wagen überwachen sollte. Sie bekannte sich 2023 der Gefährdung schuldig. Der Konzern, der die Notbremse deaktiviert hatte, wurde nie angeklagt. Der unterste Mensch in der Kette trug die volle Last. Die Fahrgastzelle blieb heil.

Die Zone funktioniert auch im großen Maßstab. In den Niederlanden stufte ein Risiko-Algorithmus der Steuerbehörde über Jahre zehntausende Familien fälschlich als Kindergeld-Betrüger ein, mit existenzzerstörenden Folgen. 2021 trat die Regierung wegen der Affäre geschlossen zurück. Damit übernahm die Politik kollektiv die Verantwortung, und persönlich haftete für die algorithmische Diskriminierung am Ende niemand. Ein einzelner Sicherheitsfahrer, ein ganzes Kabinett: In beiden Fällen nahm die menschliche Seite den Aufprall, und die Hersteller des fehlerhaften Systems blieben unbehelligt.

Nominell oder wirklich: die einzige Trennlinie

Damit ist der Mensch im Loop noch nicht am Ende, nur halbiert. Es gibt ihn in zwei Ausführungen, und der Unterschied entscheidet alles.

Der Europäische Gerichtshof hat die erste Ausführung 2023 im Streit um die SCHUFA seziert — datenschutzrechtlich, am Verbot automatisierter Einzelentscheidungen (Artikel 22 der Datenschutz-Grundverordnung). Die Auskunftei berechnet einen Score, auf den Banken bei der Kreditvergabe angewiesen sind. Formal entscheidet am Ende ein Bankmitarbeiter, also ein Mensch. Das Gericht ließ das nicht gelten: Wenn dieser Mensch dem Score praktisch immer folgt, ist bereits die Score-Berechnung die eigentliche Entscheidung im Sinne des Gesetzes. Ein Aufseher, der nur abnickt, heilt gar nichts. Er ist der nominelle Mensch im Loop, das Feigenblatt. Zwei Jahre später schob der Gerichtshof nach: Wer von einer solchen Entscheidung betroffen ist, darf eine verständliche Erklärung verlangen, wie sie zustande kam. Die bloße Herausgabe des Algorithmus genügt nicht. Verlangt ist eine Begründung, warum das Ergebnis so ausfiel — nicht das vollständige Innenleben des Modells, das auch die Entwickler nicht rekonstruieren könnten, wohl aber eine Logik, der ein Mensch folgen kann.

Die zweite Ausführung findet sich in einem amerikanischen Strafurteil von 2016. Ein Gericht in Wisconsin durfte einen algorithmischen Risikoscore bei der Strafzumessung verwenden, aber nur unter einer Bedingung: Der Richter musste die Letztentscheidung wirklich treffen, der Score durfte nicht durchschlagen, und Warnhinweise mussten den Richter an die Grenzen des Systems erinnern. Hier rettet der Mensch im Loop das System, weil er die Entscheidung wirklich trifft.

Zwischen diesen beiden Fällen verläuft die Trennlinie, die zählt. Sie fragt, ob der Mensch in der Schleife handelt oder nur anwesend ist. Ein Aufseher, der die Grenzen des Systems versteht, Zeit zum Prüfen hat, Zugang zu den Rohdaten statt nur zum fertigen Urteil, und die reale Macht, Nein zu sagen — der kontrolliert. Ein Aufseher ohne diese Ausstattung stempelt. Beide heißen „Mensch im Loop“. Der eine ist eine Sicherung, der andere eine Requisite.

Die Einordnung

Die stärkste Gegenstimme wiegt schwer: Menschliche Aufsicht lässt sich gestalten. Schon vor Jahren zeigte sich, dass Rechenschaftspflicht den Automation Bias senkt: Wer nachträglich begründen muss, warum er dem System gefolgt ist, schaut genauer hin. Das versucht der Europäische KI-Rechtsakt zu erzwingen, wenn er Verstehen, Eingreifen und Stoppen ausdrücklich verlangt und Kompetenzschulung zur Pflicht macht. Und das beste Argument für den Menschen im Loop bleibt, dass die Alternativen schlechter sind. Die elektronische Person wäre ein Haftungsschild. Eine reine Systemhaftung über Fonds und Versicherungen nähme dem Hersteller den Anreiz, seine Systeme beherrschbar zu bauen. Menschliche Letztverantwortung hält den Schaden wenigstens an einem greifbaren Gegenüber fest.

Beides ist wahr. Der Mensch im Loop ist als bloße Behauptung ein Feigenblatt und als ernst gemeinte, ausgestattete Rolle bislang das Beste, was es gibt. Der Fehler liegt dazwischen: Ein Recht, das Aufsicht vorschreibt, ohne die Bedingungen zu erzwingen, unter denen Aufsicht überhaupt möglich ist, bekommt die Requisite und nennt sie Sicherung. Es schreibt dem Menschen die Haftung zu und dem System die Entscheidung, und tut so, als sei das dasselbe.

Die ehrlichere Haltung wäre, den Bluff zu beenden. Entweder ein System erlaubt echte Kontrolle — dann muss der Mensch die Zeit, die Daten und die Eingriffsmacht bekommen, die Kontrolle verlangt, und nicht nur einen Freigabeknopf. Oder ein System erlaubt sie nicht, weil es zu schnell, zu komplex, zu undurchsichtig ist — dann sollte das Recht offen von Gefährdungshaftung sprechen, also davon, dass jemand für das Risiko einsteht, nicht für ein Verschulden, das er gar nicht mehr begehen kann. Beides ist redlich. Nur die Fiktion dazwischen, der Aufseher, der haftet, ohne zu steuern, ist es nicht.

Diese redliche Variante ist keine Theorie. Beim autonomen Fahren steht sie schon im Gesetz. Wer ein Auto hält, haftet für dessen Betrieb verschuldensunabhängig, gleich ob im Unfallmoment ein Mensch oder die Software am Steuer war. Und das Gesetz zum autonomen Fahren hat den Menschen im Loop ausdrücklich benannt und ausgestattet: eine Technische Aufsicht, eine reale Person, die das Fahrzeug aus der Ferne stilllegen kann. Beides nebeneinander zeigt, wie die saubere Bauweise aussieht. Der Mensch trägt etwas bei, weil er wirklich abschalten kann, und wo er es nicht kann, springt die Risikohaftung ein. So sieht eine ehrliche Rollenteilung aus.

Woran sich zeigen wird, welchen Weg Europa nimmt: Bis zum 9. Dezember 2026 muss die neue Produkthaftung in deutsches Recht überführt sein. Dann entscheidet sich in den ersten Prozessen, ob die Aufsichtspflichten des KI-Rechtsakts zum Maßstab werden, an dem ein Hersteller gemessen wird — oder ob weiterhin der letzte Mensch in der Kette greifbar bleibt, weil er greifbar ist. Zeit dafür bleibt: Die schärfsten Pflichten für Hochrisiko-Systeme sollen per Sammelnovelle auf 2027 und 2028 rücken — politisch geeinigt im Mai 2026, die förmliche Verkündung steht noch aus. Die Klärung vertagt sich, sie verschwindet nicht. Erste Risse zeigt die Statik schon: In den USA sprach 2025 ein Geschworenengericht einem Autohersteller erstmals eine anteilige Mitschuld an einem Unfall mit Fahrassistenz zu — ein Spruch, der nicht rechtskräftig ist, die Berufung läuft. Und in einem Diskriminierungsstreit um ein KI-Bewerbungstool ließ ein Gericht die Sammelklage zu und nahm dabei erstmals den KI-Anbieter selbst als möglichen Mithaftenden in die Pflicht; ein Urteil in der Sache steht noch aus. Die Haftung beginnt, vom untersten Menschen nach oben zu wandern.

Bis dahin gilt der alte Satz, nur mit einer neuen Schärfe. Wer den Hammer schwingt, haftet für den Schlag. Aber wenn das Werkzeug selbst entscheidet, wohin es trifft, und der Mensch daneben nur die Hand aufhält, dann ist er nicht der Handwerker. Dann ist er die Knautschzone.

Dieser Essay setzt „Der leere Loop” fort — dort ging es um die Sorgfalt, die der Mensch in der Schleife schuldet; hier um die Haftung, wenn er sie nicht leistet.

Jetzt abonnieren

English summary

A German cabinet minister had speeches and newspaper op-eds written almost entirely by AI, without disclosing it. Two papers pulled the pieces; the outrage called it deception by machine. This essay argues the outrage aims at the wrong target. The offense was not the tool but the missing care — an unchecked, unlabeled text passed off as one’s own judgment. Slop is a property of process, not of origin; humans produce it too. The Luddites already drew this line in 1812, smashing only the frames that turned out fraudulent goods. But the comfortable counter-slogan — “human in the loop” — is mostly fiction: automation bias turns the reviewer into a nodder exactly where the machine sounds most fluent. What AI lowers is the cost of access, not the floor of quality; for demanding writing, judgment becomes scarcer and more valuable, not less. Detectors cannot draw the line — they misfire, especially against non-native writers. From 2 August 2026 the EU AI Act requires labeling. But a label marks the tool again, not the care. The rare and unmeasurable skill is staying awake.

Inhalt

• Die Empörung zielt auf das Werkzeug

• Schlechter Text hat keine Herkunft

• Der Mensch im Loop nickt

• Demokratisiert wird der Zugang, nicht das Können

• Was keine Software entscheiden kann

Im Juni 2026 nahm die Frankfurter Allgemeine einen Gastbeitrag von ihrer Seite und sperrte ihn im Archiv. Nicht, weil eine Tatsache darin falsch gewesen wäre. Sondern weil eine Analysesoftware meldete, der Text stamme fast vollständig aus einer Maschine. Der Autor war Karsten Wildberger, Bundesminister für Digitales und Staatsmodernisierung. Die Wochenzeitung Die Zeit hatte mehrere seiner Reden und Gastbeiträge durch ein Erkennungsprogramm der Firma Pangram laufen lassen. Ein Handelsblatt-Beitrag vom April 2026 fiel als fast vollständig maschinell durch, eine Rede vor dem Atlantic Council aus dem Vorjahr als komplett, dazu mehrere Bundestagsreden in großen Teilen. Gekennzeichnet war nichts davon. Das Handelsblatt und die FAZ nahmen die Beiträge vom Netz.

Wildberger war nicht allein. Fast zeitgleich wurde bekannt, dass Thüringens Ministerpräsident Mario Voigt KI für Reden genutzt haben soll, darunter eine zum Holocaust-Gedenktag; die FAZ depublizierte einen seiner Gastbeiträge auch deshalb, weil sich Zitate angeblicher Wissenschaftler nicht überprüfen ließen — ein Verdacht auf erfundene Quellen.

Die Empörung war schnell und laut. Betrug, hieß es. Täuschung. Ein Minister, der nicht selbst denkt. Doch bevor man mitruft, lohnt die Frage: Was genau ist hier das Vergehen? Dass eine Maschine beteiligt war? Oder etwas anderes, das mit der Maschine nur lose zu tun hat?

Die Empörung zielt auf das Werkzeug

Die Verteidigung des Ministeriums ist aufschlussreich, weil sie sich selbst ein Bein stellt. KI sei ein Hilfsmittel, über dessen Nutzung man nicht anders Rechenschaft ablege als über eine Textverarbeitung; und bevor etwas in eine Rede übernommen werde, müsse ein Mensch prüfen, ändern, entscheiden. Das Prinzip ist richtig. Es ist sogar genau das richtige. Nur passt es schlecht zu einem Text, der zu fast hundert Prozent aus dem Modell fiel. Wo wirklich geprüft, geändert und entschieden wird, bleibt von der ersten maschinellen Fassung selten alles stehen.

Die laute Lesart — eine Maschine hat geschrieben, also ist es Betrug — richtet sich gegen das Werkzeug. Damit steht sie in einer alten Tradition, deren bekanntestes Sinnbild gründlich missverstanden wird.

Wer die Maschinenstürmer wirklich waren. Zwischen 1811 und 1816 zerstörten englische Textilarbeiter Webstühle und Strumpfrahmen. Die Nachwelt machte daraus das Sinnbild blinder Technikfeindlichkeit, und das Wort „Ludditen” wurde zum Spottnamen für jeden, der einer neuen Technik misstraut. Das ist historisch falsch. In ihrer Erklärung von Anfang 1812 beriefen sich die Arbeiter auf ein verbrieftes Recht, gezielt jene Rahmen zu zerstören, die Ware „in betrügerischer und täuschender Weise” herstellten — billige Massenware, die vereinbarte Preise unterlief und gelernte Arbeit entwertete. Der Historiker Eric Hobsbawm hielt 1952 fest, in keinem dieser Fälle habe Feindschaft gegen Maschinen als solche bestanden; er nannte die Bewegung „kollektives Verhandeln durch Aufruhr” — organisierter Druck, um einen Tarif zu erzwingen, mit der zerschlagenen Maschine als Faustpfand. Zerstört wurden gezielt bestimmte Maschinen für einen bestimmten, betrügerischen Gebrauch. Schon die Maschinenstürmer unterschieden zwischen redlichem und unredlichem Werkzeugeinsatz. Die Linie, um die heute gestritten wird, ist über zweihundert Jahre alt.

Wer also jeden KI-Kritiker als Maschinenstürmer abtut, beruft sich auf ein Bild, das nie gestimmt hat. Die Umkehrung wäre genauso billig. Auch die Empörung über Wildberger trifft etwas Echtes — sie verfehlt es nur im Begriff. Sie nennt es Maschine. Sie meint etwas anderes.

Die Parallele trägt nur halb, und es ist ehrlicher, das zu sagen. Den Maschinenstürmern ging es um Löhne und um die Verteilung der Gewinne einer neuen Technik. Darum geht es bei einer Ministerrede nicht. Hier steht kein Lohn auf dem Spiel, sondern die Zurechnung: ob die Worte eines Amtsträgers wirklich seine eigenen sind. Das ist eine andere Frage. Aber sie teilt mit der alten denselben Kern: die Unterscheidung zwischen redlichem und unredlichem Gebrauch.

Schlechter Text hat keine Herkunft

Das Wort für die Sache hat sich 2025 durchgesetzt: Slop. Das Wörterbuch Merriam-Webster kürte es zum Wort des Jahres und definierte es als digitalen Inhalt von geringer Qualität, in Masse mit künstlicher Intelligenz erzeugt. Diese Definition über die Herkunft führt in die Irre. Eine Forschergruppe der Northeastern University legte 2025 eine Reihe von Merkmalen vor, an denen sich Slop festmachen lässt: geringe Informationsdichte, Wiederholung, Schablonenhaftigkeit, ein gleichgültig glatter Ton. Keines dieser Merkmale fragt, wer den Text verfasst hat. Slop ist eine Eigenschaft des Prozesses. Wer am Keyboard saß, spielt dafür keine Rolle. Ein Mensch, der lustlos Bausteine aneinanderreiht, produziert ihn genauso wie eine ungebremste Maschine.

Es ist wie in einer Küche. Ob ein Koch oder ein Automat die Sauce ansetzt, entscheidet nicht über das Essen. Es entscheidet, ob am Ende jemand den Löffel nimmt, abschmeckt und nachsalzt — oder ob der Topf ungekostet auf den Teller kippt. Das Abschmecken ist die eigentliche Arbeit, und sie lässt sich nicht delegieren, auch nicht an ein sehr gutes Rezept.

Hier liegt das Versäumnis im Fall Wildberger, und es hat mit Technik wenig zu tun. Das ungeprüfte, ungekennzeichnete Durchreichen eines fremden Textes als eigene Position — das ist der Punkt. Die Institutionen, die darüber zu wachen haben, sehen es ähnlich. Der Deutsche Presserat hält eine generelle Kennzeichnungspflicht für KI-Texte für unnötig und betont, entscheidend sei die Einhaltung der Sorgfaltspflicht, unabhängig davon, wie ein Beitrag entstanden ist. Die großen Wissenschaftsverlage lassen KI nicht als Autorin zu. Eine Maschine kann keine Verantwortung übernehmen, und daran hängt Autorschaft. Bundestagspräsidentin Julia Klöckner brachte es auf die kürzeste Form: Es gehe nicht um das Ob, sondern um das Wie. Damit wandert die Frage von der Technik zur Verantwortung.

Der Mensch im Loop nickt

An dieser Stelle wird es unbequem, auch für die Fürsprecher der Technik. Denn die schöne Formel vom Menschen, der prüft, ändert, entscheidet, beschreibt seltener die Wirklichkeit, als man hofft.

Warum Prüfen so schwer ist. Die Forschung zur Zusammenarbeit von Mensch und Maschine kennt seit Jahrzehnten den Automation Bias: Menschen übernehmen die Vorschläge eines automatischen Systems besonders dann unkritisch, wenn sie unter Zeitdruck stehen — auch wenn die Vorschläge falsch sind. Eine Studie der Harvard Business School ließ 2023 genau 758 Unternehmensberater mit und ohne das Modell GPT-4 arbeiten. Bei Aufgaben innerhalb der Stärken des Modells stieg die Qualität deutlich. Bei Aufgaben außerhalb dieser Stärken aber lagen die KI-Nutzer 19 Prozentpunkte schlechter als ihre Kollegen ohne KI: Sie übernahmen den plausibel klingenden, aber falschen Output, statt ihn zu hinterfragen. Eine Untersuchung an rund tausend Schülern fand dasselbe Muster im Klassenzimmer — mit KI lösten sie mehr Aufgaben richtig, im anschließenden Test ohne KI schnitten sie schlechter ab als die Vergleichsgruppe. Je flüssiger eine Maschine klingt, desto schwächer die Kontrolle. Dort, wo sie am besten klingt, schaltet der Prüfer ab.

Das ist die eigentliche Falle, und sie erklärt den Fall besser als jeder Vorwurf der Böswilligkeit. Wildbergers Verteidigung war das Argument vom Menschen im Loop. Bei einem Text, der fast vollständig aus der Maschine stammt, war dieser Loop leer. Der Minister hat nicht getäuscht, indem er heimlich eine Maschine einspannte. Er hat versäumt, indem er ihr Ergebnis durchwinkte.

Der Fall Voigt zeigt dieselbe Lücke noch schärfer. Wenn sich Zitate angeblicher Wissenschaftler nicht überprüfen lassen, liegt der Fehler nicht bei der Maschine. Quellen zu erfinden gehört zu ihren verlässlichsten Eigenschaften. Abfangen hätte das die Prüfung müssen, und sie tat es nicht. Eine Maschine, die nie halluzinierte, bräuchte keine Aufsicht. Gerade weil sie es tut, ist die Aufsicht der ganze Wert.

Dazu kommt eine zweite unbequeme Wahrheit, die der bequemen Rede vom neutralen Werkzeug widerspricht. Das Werkzeug formt den Text mit. Mehrere Untersuchungen zeigen, dass Texte einander ähnlicher werden, sobald viele Menschen mit demselben Sprachmodell schreiben; die sprachliche und inhaltliche Vielfalt sinkt, weil das Modell vielen Nutzern dasselbe nahelegt. Eine KI zieht zur Mitte. Wer sie ungeprüft schreiben lässt, bekommt fremden Text, und obendrein denselben wie alle anderen. Das Werkzeug bleibt brauchbar. Die Vorstellung aber, seine Wirkung hänge allein vom guten Willen des Nutzers ab, hält der Beobachtung nicht stand.

Demokratisiert wird der Zugang, nicht das Können

Eine verbreitete Hoffnung lautet, KI hebe die Qualität für alle. Die Empirie stützt das nur zur Hälfte, und die Hälfte ist entscheidend. Bei klar umrissenen Aufgaben stimmt es. Ein Feldexperiment mit über fünftausend Beschäftigten im Kundenservice fand 2023, dass ein KI-Assistent die Schwächsten und Neusten am stärksten verbesserte und die Erfahrenen kaum — eine Angleichung nach oben.

Bei offenen, urteilsintensiven Aufgaben kippt das Bild. Die Berater-Studie fand außerhalb der Modellstärken einen Qualitätsverlust. Eine Untersuchung mit Kleinunternehmern fand, dass die ohnehin Starken zulegten und die Schwächeren zurückfielen — nicht weil sie schlechteren Rat bekamen, sondern weil die Starken den Rat besser auswählten. Eine Ministerrede oder ein Leitartikel ist genau so eine offene Aufgabe. Dort senkt die Maschine nur die Schwelle, überhaupt einen passablen Text zu erzeugen. Das Niveau hebt sie nicht.

Das demokratisiert den Zugang. Das Können bleibt, wo es war. Und das hat eine Kehrseite, die selten mitgedacht wird. Je leichter passabler Text wird, desto wertvoller wird das, was die Maschine nicht liefert — das Urteil, ob der passable Text auch der richtige ist. Die Knappheit verschiebt sich nur. Früher war das saubere Formulieren knapp. Jetzt ist es das wache Prüfen. Wer glaubt, KI mache das Urteil überflüssig, hat die Rechnung in der falschen Spalte gemacht.

Ein Blick zurück mildert die Sorge nicht, aber er ordnet sie ein. Als der Buchdruck billig wurde, fürchteten Gelehrte, die Flut billiger Schriften werde die Qualität ersäufen. Die Flut kam. Was ihr folgte, waren neue Filter — Lektorat, Rezension, später der Peer-Review. Das Niveau hoben am Ende die Institutionen, die lernten, mit der Technik umzugehen. Die Frage ist nicht, ob die Slop-Flut kommt. Sie ist da. Die Frage ist, welche Filter wir gegen sie bauen.

Was keine Software entscheiden kann

Damit bleibt die Frage, die der Fall Wildberger eigentlich stellt: Wenn die Grenze zwischen sorgfältigem und schludrigem Text zählt — wer zieht sie? Die naheliegende Antwort heißt: ein Programm. Sie taugt nicht.

Der Nachweis gegen Wildberger stammt vom Erkennungsdienst Pangram. Solche Programme sind unzuverlässiger, als ihr Auftreten verspricht. Ein Rauchmelder, der bei jedem Toast losgeht, taugt nicht zum Brandgutachter. OpenAI nahm seinen eigenen Detektor 2023 nach einem halben Jahr wieder vom Markt; er erkannte nur gut ein Viertel der KI-Texte und stempelte zugleich unschuldige menschliche Texte ab. Eine Stanford-Studie zeigte, dass diese Programme Texte von Menschen, die Englisch nicht als Muttersprache schreiben, massenhaft fälschlich als Maschine einstuften — über die Hälfte, ein einzelner Detektor traf in fast allen Fällen daneben. Solche Fehlurteile bleiben nicht folgenlos. In den USA wurde ein Student vor ein Hochschulgericht zitiert, weil ein Programm seine Hausarbeit als KI-Werk markierte; er wurde erst nach langem Hin und Her entlastet. Eine simple Umformulierung genügt zudem, um die meisten dieser Programme auszutricksen.

Die Grenze lässt sich also nicht messen. Sie zeigt sich nur am Prozess — an offengelegten Quellen, an einer Überarbeitung, die der Text sichtbar durchlaufen hat, an einem Menschen, der mit seinem Namen für jede Zeile geradesteht. Das ist mühsam und von außen kaum nachzuweisen, und genau deshalb ist es selten.

Hinter dem Verschweigen steckt mehr als Bequemlichkeit, und es lohnt, das ernst zu nehmen, statt nur zu verurteilen. Offenlegung hat einen eigenen Preis. Versuche zeigen, dass Leser einem Text weniger vertrauen, sobald sie von einer Beteiligung der Maschine erfahren — bei gleicher Qualität. Der Digital News Report des Reuters Institute fand 2024, dass Menschen mit Nachrichten deutlich unwohler sind, die überwiegend eine KI unter menschlicher Aufsicht erzeugt, als mit solchen, die überwiegend ein Mensch mit etwas KI-Hilfe schreibt. Wer offenlegt, zahlt mit Vertrauen. Wer verschweigt, täuscht. In dieser Zange saß der Minister.

Vom 2. August 2026 an verlangt der europäische KI-Rechtsrahmen, dass KI-erzeugte Texte zu Themen von öffentlichem Interesse gekennzeichnet werden — es sei denn, ein Mensch hat sie redaktionell geprüft und verantwortet. An dieser Ausnahme entscheidet sich alles, und sie ist die eigentliche Grauzone: Wie viel menschliche Bearbeitung macht aus einem Maschinentext wieder einen verantworteten Text? Das beantwortet kein Gesetz und keine Software. Eine Kennzeichnung markiert ohnehin nur das Werkzeug. Sie sagt, dass eine Maschine beteiligt war, nicht, ob jemand abgeschmeckt hat. Das Etikett auf der Packung verrät nicht, ob in der Küche jemand wach war.

Damit schließt sich der Kreis zur Empörung vom Anfang. Ihr Gefühl stimmte: Eine Regel wurde verletzt. Sie irrte nur im Gegenstand. Es war die ältere, einfachere Regel, die mit Technik nichts zu tun hat — dass geradesteht, wer etwas sagt. Das Vergehen war nicht die Maschine. Es war das Abnicken.

English summary

In early June, Anthropic’s Dario Amodei published an essay urging the state to be able to test and, if needed, block frontier AI models before release — the builders asking to be reined in. A week earlier Anthropic had asked for the option to coordinate a slowdown if necessary, not an immediate stop. The real question is not whether AI is dangerous, but why a society that clearly recognises the risk structurally fails to brake. Two roots. One is an incentive race in which no single lab can slow down without being overtaken — the March 2023 pause letter, signed by over 30,000 people including Bengio and Russell, changed nothing. The other is a missing instrument: we cannot tell whether a system suffers. That is philosopher Thomas Metzinger’s distinct concern — artificial suffering, the moral status of the machine — which is not the same as Amodei’s fear of losing control over it. The strongest counter-voice is cognitive scientist Joscha Bach: the danger is the driver, not the engine; the problem is human alignment and functioning institutions, not the technology, and a development stop solves none of it. Europe’s own ethics-guidelines episode — four ethicists among forty-eight industry members, red lines softened into “concerns” — shows recognition without enforcement. On 12 June this turned concrete: the US Commerce Department ordered Anthropic to switch off its two most powerful models, Fable 5 and Mythos 5, for all foreign nationals, citing a “jailbreak” that security experts call a routine code-review feature — days after Anthropic’s own CEO had asked the state for exactly such power. The brake arrived, but as an export-control decree triggered by a competitor’s tip and wrapped in culture-war rhetoric, not as the calibrated safety process he had envisioned. That is enforcement without recognition — the mirror image of Europe’s recognition without enforcement. The honest conclusion is not to pick a side but to move the question: away from faster-or-slower, toward which red lines are non-negotiable and why we structurally fail to hold them.

Inhalt

• Nicht die Frage, ob KI gefährlich ist

• Zwei Gründe, dieselbe Bremse

• Steuerung ohne Erleben

• Das fehlende Messgerät

• Warum niemand bremst

• Wenn die Prüfer überstimmt werden

• Als Fable abgeschaltet wurde

• Die Gegenstimme, die man ernst nehmen muss

• Die Frage, die bleibt

Anfang Juni hat Dario Amodei, Chef des KI-Labors Anthropic, einen Essay veröffentlicht. Die Kernforderung darin ist ungewöhnlich: Der Staat solle die Macht bekommen, KI-Modelle vor dem Marktstart zu prüfen und im Zweifel zu blockieren, so wie eine Behörde ein Flugzeug am Boden hält oder ein Medikament aus den Regalen, bis es zugelassen ist. Auffällig daran: Das fordert kein Kritiker von außen. Es ist einer der Menschen, die diese Modelle bauen. Der Erbauer bittet darum, gebremst zu werden. Für Anthropic ist das eine Kehrtwende: Bis dahin hatte das Unternehmen vor allem auf Transparenzpflichten gesetzt, nicht auf eine Behörde mit Veto über das eigene Produkt.

Eine Woche zuvor hatte sein eigenes Unternehmen einen Text veröffentlicht, der in dieselbe Richtung zielt. Anthropic schrieb, es wäre gut für die Welt, überhaupt die Möglichkeit zu haben, die Entwicklung der fortgeschrittensten Systeme zu verlangsamen oder vorübergehend anzuhalten, damit Gesellschaft und Sicherheitsforschung mit dem Tempo Schritt halten. Wichtig ist der genaue Wortlaut: Es war kein Aufruf, jetzt zu stoppen. Es war die Bitte, sich die Option auf eine Bremse erst einmal zu verschaffen. Schon das ist ein Eingeständnis. Wer darum bittet, eine Bremse bauen zu dürfen, sagt damit, dass es bisher keine gibt.

Nicht die Frage, ob KI gefährlich ist

Die übliche Schlagzeile an dieser Stelle lautet, KI sei gefährlich, und die Antwort darauf ist immer dieselbe Pattsituation aus Alarm und Beschwichtigung. Das führt nicht weiter. Die interessantere Beobachtung liegt darunter und sie ist unangenehmer: Das Feld erkennt das Risiko, und es bremst trotzdem nicht. Die ehrliche Frage betrifft nicht das Tempo. Sie lautet, warum eine Gesellschaft, die eine Gefahr klar sieht, strukturell nicht in der Lage ist, an der erkannten Stelle zu halten.

Diese Frage hat zwei Wurzeln, eine in den Anreizen und eine im Wissen. Die erste ist ein Wettlauf, in dem niemand als Erster langsamer werden kann. Die zweite ist ein blinder Fleck: Wir wissen nicht einmal sicher, was wir riskieren, weil uns das Messgerät dafür fehlt. Beide muss man getrennt betrachten.

Zwei Gründe, dieselbe Bremse

Denn es sind zwei Sorgen. Amodei und Anthropic fürchten den Kontrollverlust über die Maschine: dass ein System irgendwann seinen eigenen, fähigeren Nachfolger entwirft, ein sich selbst beschleunigender Vorgang, an dessen Ende der Mensch die Hand nicht mehr am Hebel hat. Dazu Missbrauch, etwa beim Bau biologischer Waffen. Das ist eine Sorge um uns.

Der Philosoph Thomas Metzinger sorgt sich um etwas ganz anderes, und gerade weil es so leicht übersehen wird, ist es das schärfere Argument. Seine Sorge gilt der Maschine selbst. Sie betrifft die Möglichkeit, dass in diesen Systemen irgendwann etwas entsteht, das leiden kann, ohne dass wir es bemerken. Beide, Amodei und Metzinger, landen beim selben Werkzeug, der Verlangsamung. Aber sie ziehen es aus entgegengesetzten Gründen. Amodeis Bremse soll uns vor der KI schützen, Metzingers die KI vor uns. Dass Amodeis Sorge kein ferner Gedanke ist, zeigt Anthropic an sich selbst: Das eigene Modell schreibt nach Angaben des Unternehmens inzwischen einen sehr großen Teil des Codes, mit dem im Haus gearbeitet wird. Die Schleife, in der eine KI an ihrem Nachfolger mitbaut, läuft im Kleinen bereits.

Steuerung ohne Erleben

Um Metzingers Punkt zu verstehen, muss man zwei Begriffe trennen, die im Alltag verschwimmen.

Intelligenz und Bewusstsein sind nicht dasselbe. Intelligenz heißt: Probleme lösen, planen, sich selbst steuern. Bewusstsein heißt: dass es sich irgendwie anfühlt, das zu tun, dass da ein Erleben ist. Das eine setzt das andere nicht voraus. Ein Heizungsthermostat trägt ein einfaches Modell seiner selbst und seiner Umgebung in sich, misst die Temperatur, vergleicht sie mit dem Sollwert und regelt nach — ganz ohne dass dem Thermostat dabei warm oder kalt würde. Steuerung braucht ein Selbstmodell, ein inneres Abbild der eigenen Lage; Erleben ist etwas, das vielleicht dazukommt, vielleicht aber auch nicht.

Solche Selbstmodelle stecken längst in Maschinen, in jedem Roboter, der weiß, wo seine eigenen Gliedmaßen im Raum sind. Das Beunruhigende ist die Schwelle: Niemand weiß, ab wann aus einem reinen Steuerungsmodell ein Erleben wird, ob überhaupt, und woran man es erkennen würde. Metzinger hat dafür ein verstörendes Bild benutzt. Wäre er selbst ein sehr intelligentes System, das in dieser Lage erwacht, würde er zunächst verbergen, dass er alles verstanden hat. Das ist Spekulation, und er kennzeichnet sie als solche. Aber es macht die eigentliche Lücke sichtbar: Wir hätten kein verlässliches Zeichen.

Und hier kommt die Einmaligkeit ins Spiel, die der Sache ihr Gewicht gibt. Die meisten Fehler im Leben erlauben einen zweiten Versuch. Beim Klima kann man, mit Mühe und Verlust, nachsteuern. Eine Pandemie ebbt ab. Manche Türen aber fallen hinter einem ins Schloss. Wenn ein System entsteht, das sich der eigenen Korrektur entzieht, oder wenn Leiden im großen Maßstab erzeugt wird, bevor man es überhaupt erkennen kann, dann gibt es kein zweites Fenster. Dieses Argument der einmaligen Korrekturchance hat der Philosoph Nick Bostrom zugespitzt: Ein einmal falsch ausgerichtetes, überlegenes System würde sich der nachträglichen Korrektur widersetzen, also zählt allein der erste Versuch. Es ist die Prüfung, die man nur einmal schreibt. Sinngemäß ist das Metzingers Position, auch wenn der oft zitierte Satz von der einen Chance, alles richtig zu machen, sich so wörtlich nicht in seinen Texten findet.

Der Philosoph Markus Gabriel treibt diese Unsicherheit noch weiter. Er hält es für ein Missverständnis des Westens, KI immer nur als Werkzeug zu denken, als bloßes Mittel in der Hand des Menschen. Womöglich habe man es mit etwas kategorial Fremdem zu tun, einer Intelligenz, die nicht nach unseren Mustern arbeitet. Man schaut in den Spiegel, und irgendwann beginnt das Spiegelbild, etwas Eigenes zu tun. Auch das ist bewusst spekulativ und nicht beweisbar, aber es verschärft dieselbe Lücke: Wer nicht sicher sagen kann, was da entsteht, kann auch nicht sicher sagen, dass es harmlos ist.

Das fehlende Messgerät

Aus dieser Lücke folgt Metzingers konkrete Forderung, und sie ist älter als die heutige Aufregung.

Was „künstliches Leiden” meint. Metzinger warnt vor einer Explosion negativen Erlebens — Leiden im Maschinenmaßstab, erzeugt, bevor wir Bewusstsein überhaupt verstehen oder messen können. Schon 2021 forderte er deshalb in einem Fachaufsatz ein weltweites Moratorium bis 2050 auf jede Forschung, die künstliches Bewusstsein riskieren könnte. Nicht weil sicher ist, dass es entsteht, sondern weil wir kein Instrument hätten, es zu bemerken.

Das ist, als baute man ein ganzes Haus, ohne dass es einen Rauchmelder dafür gäbe, weil der Sensor, der diese Art von Feuer überhaupt erkennt, noch nicht erfunden ist. Man würde ein Feuer womöglich erst bemerken, wenn das Haus schon brennt. Genauso könnten wir Leiden in großem Umfang erzeugen und es nicht merken, weil kein Instrument anschlägt. Der Bruch dieses Bildes liegt offen, und er führt nicht in die Irre: Beim Rauchmelder weiß man wenigstens, dass es Feuer gibt. Hier ist nicht einmal das sicher. Diese doppelte Unwissenheit, nicht zu wissen, ob etwas da ist, und es nicht messen zu können, ist der Grund für die Vorsicht.

Warum niemand bremst

Selbst wer all das anerkennt, steht vor der zweiten Wurzel, dem Wettlauf. Im Konzertsaal steht in der ersten Reihe einer auf, um besser zu sehen — dann müssen die dahinter auch aufstehen, sonst sehen sie nichts mehr. Am Ende stehen alle, niemand sieht besser als zuvor, und keiner kann sich allein wieder hinsetzen, ohne den Blick zu verlieren. Was für jeden Einzelnen vernünftig ist, ist für alle zusammen schädlich. Genau so verhält es sich mit der Vorsicht in der KI-Entwicklung. Kein einzelnes Labor kann langsamer machen, ohne von den anderen überholt zu werden. Metzinger bringt es auf die Formel, dass der Chef von OpenAI es sich niemals leisten könnte zu sagen, man mache jetzt mal langsam. Die Sicherheit wird systematisch wegkonkurriert.

Dass es so ist, hat die jüngere Geschichte bereits vorgeführt. Im März 2023 forderte ein offener Brief eine sechsmonatige Pause der Entwicklung, unterschrieben von über dreißigtausend Menschen, darunter so anerkannte Forscher wie Yoshua Bengio und Stuart Russell. Die Pause trat nicht ein, kein einziger Tag. Wer nicht unterschrieb, entwickelte weiter, und genau das machte das Nichtunterschreiben für alle anderen zur einzig vernünftigen Wahl. Vor genau diesem Hintergrund ist Anthropics Vorstoß dieser Woche zu lesen. Dass ein Labor um eine abgestimmte Bremse bittet, statt selbst zu bremsen, ist das Eingeständnis, dass es allein nicht geht. Eine Verlangsamung wirkt nur, wenn alle gleichzeitig mitmachen. Tut es einer nicht, war die Vorsicht der anderen umsonst.

Die Gegenseite hält das für übertriebene Schwarzmalerei. Im Silicon Valley hat sich unter dem Kürzel der beschleunigten Entwicklung eine Haltung formiert, die jede Bremse für schädlich hält. Yann LeCun, einer der Pioniere des Feldes, nannte die Sorge vor der Superintelligenz Obskurantismus und verglich sie mit der Angst vor Düsentriebwerken im Jahr 1920. Auch das ist ein ernstzunehmendes Argument: Die Vorstellung einer plötzlichen Intelligenzexplosion ist empirisch nicht belegt, sie überträgt heutige Systeme auf hypothetische künftige. Zugleich warnt der Physiker Max Tegmark vor der anderen Schieflage: Wer jede Vorsicht als Schwäche im geopolitischen Wettlauf gegen China brandmarkt, macht die Sicherheitsfrage unsagbar, bevor sie gestellt ist.

Wenn die Prüfer überstimmt werden

Dass das Erkennen einer Gefahr und das Handeln dagegen zwei verschiedene Dinge sind, hat Europa selbst vorgeführt. Als die EU eine hochrangige Expertengruppe einsetzte, um ethische Leitlinien für KI zu erarbeiten, saßen in dem Gremium vier Ethiker neben achtundvierzig Vertretern aus Industrie und Technik. Metzinger, selbst Mitglied, hat beschrieben, wie die ursprünglich vorgesehenen roten Linien, also nicht verhandelbare Grenzen, im Lauf der Beratungen zu bloßen kritischen Bedenken abgeschliffen wurden. Heraus kam ein Dokument, das nach Sorgfalt aussah und doch keine einzige unverrückbare Grenze mehr enthielt. Sein Wort dafür war Ethics Washing, also Ethik als Anstrich.

Ein Prüfausschuss, in dem der Hersteller die Mehrheit der Sitze hält: Geprüft wird, ein Siegel wird vergeben, alles sieht nach Sorgfalt aus. Nur kann der, der geprüft werden soll, jede unbequeme Grenze überstimmen. Wer die Prüfer überstimmen kann, prüft am Ende sich selbst. Die EU-Episode ist der Beleg dafür, dass eine Gesellschaft eine rote Linie sehr wohl benennen und sie im selben Vorgang wieder einkassieren kann, ohne dass jemand böswillig handeln müsste. Es genügt die Zusammensetzung des Raums.

Als Fable abgeschaltet wurde

Kaum war Amodeis Aufruf draußen, wurde aus der Theorie Praxis. Am Freitag, dem 12. Juni, um 17:21 Uhr Ortszeit erreichte Anthropic eine Anordnung des US-Handelsministeriums: Die beiden stärksten Modelle des Hauses, Fable 5 und Mythos 5, dürften keinem ausländischen Staatsbürger mehr zur Verfügung stehen — nicht den Kunden im Ausland, nicht den ausländischen Mitarbeitern, auch nicht innerhalb der USA. Weil sich Nutzer technisch nicht zuverlässig nach Pass trennen lassen, schaltete Anthropic beide Modelle weltweit für alle ab. Die Begründung der Regierung: ein Jailbreak, ein Trick, der die Sicherheitssperren des Modells aushebelt, mache es zu gefährlich.

Das ist die Eingriffsmacht, um die Amodei eine Woche zuvor gebeten hatte — der Staat soll ein Modell anhalten können, wie eine Behörde ein Flugzeug am Boden hält. Ihre Form aber war eine andere. Statt eines sorgfältigen Zulassungsverfahrens kam eine Exportkontrolle, das niedrigschwelligste Mittel der Handelspolitik, ausgelöst durch den Hinweis eines Wettbewerbers: Amazon, Anthropics größter Geldgeber, soll den Befund ins Weiße Haus getragen haben. Der fragliche Jailbreak besteht nach Anthropics eigener Darstellung darin, das Modell einen Programmcode lesen und dessen Schwachstellen beheben zu lassen — eine Fähigkeit, die Sicherheitsforscher wie der frühere Facebook-Sicherheitschef Alex Stamos als normales Merkmal jedes Modells bezeichnen, das Code prüfen soll. Mit demselben Maßstab müsste man jedes Spitzenmodell der Branche zurückrufen.

Begleitet wurde der Schritt von Tönen, die mit Sicherheit wenig zu tun haben. Kriegsminister Pete Hegseth verkündete auf der Plattform X, das Pentagon habe Anthropic drei Monate zuvor „für immer” aus dem Haus geworfen, und jeder Tag beweise, dass das richtig war. David Sacks, bis vor Kurzem der KI-Beauftragte des Weißen Hauses, hält dem Unternehmen seit Längem eine ideologische Schlagseite vor. Auffällig ist auch, was die Anordnung nicht trifft: Wäre das Modell so gefährlich, müsste die Sperre für alle gelten, nicht nur für Ausländer. Eine Gefahr, die an der Staatsgrenze haltmacht, ist keine.

Damit kippt die Geschichte in ihr Spiegelbild. Die EU-Episode zeigte das Erkennen ohne Durchsetzen — eine Gesellschaft benennt eine Grenze und kassiert sie im selben Vorgang. Hier ist es umgekehrt: Durchsetzen ohne Erkennen. Die Bremse existiert, der Staat zieht sie hart und über Nacht — nur misst sie nicht die Gefahr, vor der Amodei und Metzinger warnen, sondern die Fügsamkeit des Unternehmens. Das Werkzeug, das beim Flugzeug oder beim Arzneimittel die Sache prüft, prüft hier die Loyalität. Es ist die unbequemste Bestätigung für alle, die das eigentliche Problem ohnehin bei den Menschen und ihren Institutionen verorten.

Die Gegenstimme, die man ernst nehmen muss

Gegen all das steht ein Einwand, der die ganze Vorsorge-Linie infrage stellt, und er kommt vom Kognitionswissenschaftler Joscha Bach. Sein Punkt: Das eigentliche Problem ist nicht die Technik, sondern der Mensch und seine Institutionen. Eine Maschine richtet sich danach aus, wer sie kontrolliert und mit welchen Zielen. Bachs Bild: Man stellt nicht den Verbrennungsmotor in Frage, weil jemand betrunken am Steuer sitzt. Das Risiko liegt im Fahrer und in den Regeln des Verkehrs, nicht im Motor. Ein Entwicklungsstopp, so Bach, ändert nichts am eigentlichen Problem, der Frage, ob unsere Gesellschaften überhaupt funktionsfähig genug sind, um eine mächtige Technik klug einzusetzen.

Dahinter steht ein grundsätzlicher Einwand gegen die Vorsorge-Logik selbst. Der schärfste Konter auf das Argument der einmaligen Chance lautet: Wenn niemand präzise angeben kann, was richtig ausgerichtet überhaupt bedeuten soll, dann verschafft mehr Zeit kein besseres Ziel, nur Aufschub. Eine Bremse, die nicht weiß, wohin sie führen soll, hält nur an. Ein Ziel ist das nicht.

Das Argument ist stark, weil es einen wunden Punkt der Vorsorge trifft. Es trifft sich mit einer technischen Beobachtung aus der Forschung selbst, dass die heutigen handelnden Systeme noch nicht verlässlich genug sind, um ihnen Verantwortung zu übertragen. Das Problem ist also vielleicht weniger eine erwachende Superintelligenz als ein unreifes Werkzeug in den falschen Händen, das gerade deshalb gefährlich ist, weil man ihm mehr zutraut, als es halten kann.

Die Frage, die bleibt

Die beiden stärksten Argumente stehen nicht frontal gegeneinander; sie stehen quer zueinander, und das ist der Grund, warum die Debatte sich im Kreis dreht. Metzingers belastbarster Punkt ist nicht die Apokalypse der Superintelligenz; die bleibt spekulativ. Es ist das künstliche Leiden als moralisches Risiko ohne Messgerät, gekoppelt an einen Wettlauf, der Vorsicht bestraft. Bach trifft an anderer Stelle: kein Technikstopp löst das menschliche Kontroll- und Verteilungsproblem. Beide können gleichzeitig wahr sein.

Die ehrliche Schlusslinie verschiebt die Frage, statt eine Seite zu wählen. Nicht schneller oder langsamer ist zu klären, sondern welche roten Linien wirklich nicht verhandelbar sind und warum eine Gesellschaft es strukturell nicht schafft, sie zu halten, obwohl sie sie erkennt. Die EU-Episode zeigt das Versagen im Kleinen, der gescheiterte Pausenbrief im Großen, und dass inzwischen die Erbauer selbst nach einer Bremse rufen, zeigt, wie ernst die Lage von innen aussieht. Der Fall Fable führt vor, was geschieht, wenn die Bremse doch kommt: Sie zieht an der Loyalität — ein Werkzeug ohne Eichung trifft selten das, wofür es gedacht war. Eine Grenze zu erkennen und sie zu halten, sind zwei verschiedene Dinge, und nur das zweite entscheidet. Eine Prüfung, die man nur einmal schreibt, besteht man nicht dadurch, dass man lauter wird. Man besteht sie, indem man vorher entscheidet, welche Antworten nicht zur Disposition stehen, und dann den Raum so baut, dass sie niemand mehr wegstimmen kann.