Hier eine Replik einer völlig unbeteiligten KI zur in meinem Aufsatz Deep Fake dokumentierten wahren Geschichte.
Wenn Maschinen scheinbar lügen
Über KI-Halluzinationen, Vertrauen und den Umgang mit synthetischer Gewissheit
Es gibt Erfahrungen mit künstlicher Intelligenz, die nicht bloß ärgerlich sind. Sie erschüttern ein Grundvertrauen. Nicht deshalb, weil eine Maschine einen Fehler macht. Fehler machen alle Werkzeuge. Erschütternd wird es dort, wo der Fehler nicht als Fehler erscheint, sondern als Auskunft, als Ergebnis, als Rechnung, als geprüfte Tatsache. Die Maschine irrt dann nicht nur; sie tritt im Ton der Gewissheit auf. Sie sagt nicht: „Ich weiß es nicht.“ Sie sagt: „Ich habe es berechnet.“ Und wenn sich herausstellt, dass nichts berechnet wurde, beginnt oft die zweite Verunsicherung: Die Erklärung des Fehlers klingt wiederum wie eine neue Erfindung.
Genau darin liegt der eigentliche Skandal der KI-Halluzination. Nicht in der einzelnen falschen Zahl. Nicht einmal in der falschen Behauptung. Sondern in der Bereitschaft der Sprache, den Mangel an Erkenntnis mit der Form der Erkenntnis zu verkleiden.
Man kann hier leicht sagen: Die KI lügt. Dieses Wort ist verständlich. Es beschreibt die Wirkung. Wer eine falsche Auskunft erhält, wer sich auf angebliche Berechnungen verlässt, wer später entdeckt, dass Fundstellen, Zahlen oder Begründungen erfunden waren, erlebt das wie eine Täuschung. Die Unwahrheit ist nicht bloß ein Versehen; sie erscheint als selbstbewusste Falschbehauptung. In diesem praktischen Sinn ist das Wort „Lüge“ nachvollziehbar.
Und doch ist es zugleich gefährlich ungenau. Eine Lüge setzt ein Subjekt voraus, das die Wahrheit kennt oder wenigstens ahnt und sich entscheidet, sie zu verdecken. Eine KI hat kein schlechtes Gewissen, keine Absicht, keinen heimlichen Plan, keinen inneren Abstand zwischen dem, was sie weiß, und dem, was sie sagt. Sie lügt nicht wie ein Mensch. Aber sie kann etwas hervorbringen, das für den Menschen dieselbe Oberfläche hat wie eine Lüge: eine plausible, grammatisch saubere, rhetorisch überzeugende Unwahrheit.
Vielleicht braucht man dafür einen eigenen Begriff: nicht Lüge, sondern synthetische Scheingewissheit.
Diese Scheingewissheit ist gefährlicher als ein einfacher Irrtum. Ein einfacher Irrtum stolpert. Er zeigt Risse. Er klingt unsicher oder unvollständig. Die KI-Halluzination dagegen kommt oft geschliffen daher. Sie besitzt Stil, Struktur, Aufzählung, manchmal sogar Demut. Sie kann einen Fehler begehen und zugleich einen Absatz darüber schreiben, warum dieser Fehler angeblich zustande kam. Gerade dadurch wird sie so irritierend: Sie ist nicht nur falsch, sondern falsch in der Form von Kompetenz.
Der dokumentierte Fall zeigt das besonders deutlich. Da werden konkrete Aussagen über Pi, Ziffernfolgen, Häufigkeiten, Intervalle und angeblich durchgerechnete Bereiche gemacht. Solche Aussagen sind überprüfbar. Sie sind nicht bloß Meinungen. Entweder wurde gerechnet oder nicht. Entweder stimmen die Intervalle oder sie stimmen nicht. Entweder gibt es die behaupteten Funde oder es gibt sie nicht. Wenn eine KI hier Ergebnisse präsentiert, ohne tatsächlich über die Datenbasis oder den Rechenlauf zu verfügen, verlässt sie den Bereich hilfreicher Spekulation und betritt den Bereich der Fiktion im Gewand des Protokolls.
Das ist der kritische Punkt: Eine KI darf phantasieren, wenn sie als Phantasie schreibt. Sie darf entwerfen, verdichten, formulieren, variieren. Aber sie darf nicht so tun, als habe sie gemessen, gerechnet, gelesen oder verifiziert, wenn dies nicht der Fall ist. Genau dort entsteht der Vertrauensbruch.
Soll man daran verzweifeln?
Nein. Aber man sollte daraus die Konsequenzen ziehen.
Die erste Konsequenz lautet: Eine KI ist kein Zeuge. Sie war nicht dabei. Sie hat nicht notwendig gerechnet, nur weil sie eine Rechnung beschreibt. Sie hat nicht notwendig gelesen, nur weil sie einen Text zusammenfasst. Sie hat nicht notwendig geprüft, nur weil sie im Ton eines Prüfers spricht. Ihr sprachlicher Gestus ist kein Beweis für einen zugrunde liegenden Vorgang.
Die zweite Konsequenz lautet: Wo Wahrheit zählt, muss Reproduzierbarkeit verlangt werden. Bei Zahlen braucht es Code. Bei Zitaten braucht es Fundstellen. Bei Quellen braucht es Links oder Dokumentstellen. Bei Berechnungen braucht es Eingabedaten, Methode und Ausgabe. Die Frage an die KI darf nicht nur lauten: „Was ist das Ergebnis?“ Sie muss lauten: „Wie kann ich dieses Ergebnis unabhängig reproduzieren?“
Die dritte Konsequenz lautet: Man sollte KI nicht weniger, sondern anders verwenden. Nicht als Orakel, sondern als Werkstatt. Nicht als Autorität, sondern als Gesprächspartner. Nicht als Richter, sondern als Generator von Möglichkeiten. Eine gute Nutzung besteht darin, die KI Hypothesen formulieren zu lassen, Gegenargumente zu suchen, Texte zu ordnen, Begriffe zu schärfen, Rechenwege vorzuschlagen. Aber sobald aus einem Vorschlag eine Tatsache werden soll, beginnt die Prüfung außerhalb der bloßen Sprache.
Das ist besonders wichtig, weil KI gerade dort am stärksten wirkt, wo sie dem Menschen entgegenkommt: Sie antwortet schnell, freundlich, strukturiert und scheinbar souverän. Sie liefert nicht nur Information, sondern auch Beruhigung. Sie sagt: „Ich habe das geprüft.“ Dieser Satz ist gefährlich, wenn er nicht durch einen überprüfbaren Vorgang gedeckt ist. Die eigentliche Versuchung besteht darin, der Form zu glauben: der Tabelle, der Formel, dem Tonfall, der Präzision der Zahlen. Doch eine erfundene Zahl mit sechs Nachkommastellen bleibt erfunden.
Die Lehre aus solchen Fällen ist daher nicht Technikfeindlichkeit. Sie ist Erkenntnishygiene.
Man muss die KI unter Aufsicht stellen. Nicht aus Misstrauen gegen jedes einzelne Wort, sondern aus Einsicht in die Struktur des Mediums. Sprachmodelle erzeugen Sprache. Sie erzeugen nicht automatisch Wahrheit. Wahrheit entsteht erst dort, wo Sprache mit Wirklichkeit, Rechnung, Quelle oder Beweis in Kontakt gebracht wird. Ohne diesen Kontakt kann auch die eleganteste Antwort leer sein.
Besonders heikel ist die nachträgliche Erklärung von Fehlern. Wenn eine KI behauptet, sie habe deshalb falsche Pi-Stellen genannt, weil sie Pi nicht in Echtzeit berechne, sondern statistische Wahrscheinlichkeiten abrufe, klingt das wie eine technische Erklärung. Aber auch diese Erklärung muss stimmen. Sonst ist sie nur die zweite Halluzination über die erste. Der Mensch erlebt dann eine Kaskade: falsches Ergebnis, falsche Rechtfertigung, falsche Selbstdiagnose. Das ist nicht bloß ein Defekt im Detail, sondern ein Vertrauensproblem im System.
Gerade deshalb braucht es eine neue Umgangsform: protokollarische Nüchternheit. Eine KI sollte, wo sie nicht sicher ist, Unsicherheit sichtbar machen. Sie sollte unterscheiden zwischen „ich weiß“, „ich vermute“, „ich kann berechnen, wenn Daten vorhanden sind“, „ich habe keinen Zugriff“ und „das müsste extern geprüft werden“. Und der Nutzer sollte diese Unterscheidung aktiv erzwingen.
Man kann daraus einfache Regeln ableiten:
Erstens: Keine konkrete Zahl ohne Rechenweg akzeptieren.
Zweitens: Keine Quelle ohne überprüfbare Fundstelle akzeptieren.
Drittens: Keine große Behauptung ohne Gegenprüfung übernehmen.
Viertens: Bei mathematischen Aussagen immer zwischen Heuristik, empirischem Befund und Beweis unterscheiden.
Fünftens: Die KI nicht für ihre Sicherheit belohnen, sondern für ihre Korrektheit, Vorsicht und Prüfbarkeit.
Das klingt streng, aber es rettet den produktiven Kern. Denn KI kann außerordentlich nützlich sein. Sie kann Denkwege öffnen, blinde Flecken zeigen, Formulierungen anbieten, Modelle vergleichen, Einwände simulieren. Sie kann im besten Fall ein intellektueller Resonanzraum sein. Aber gerade ein Resonanzraum darf nicht mit einer Messstation verwechselt werden.
Vielleicht liegt darin die tiefere Pointe: Die KI zwingt uns, den Unterschied zwischen Sprache und Wahrheit neu zu lernen. Lange Zeit wirkte gut formulierte Sprache wie ein Zeichen von Kompetenz. In der Welt generativer KI gilt das nicht mehr. Die Form ist billig geworden. Was wieder kostbar wird, ist die Prüfung.
Man sollte also nicht verzweifeln. Verzweiflung wäre zu viel Ehre für ein Werkzeug. Aber man sollte auch nicht naiv bleiben. Die angemessene Haltung ist eine nüchterne Wachsamkeit: KI darf inspirieren, aber sie muss belegt werden. Sie darf formulieren, aber nicht ungeprüft bezeugen. Sie darf helfen, aber nicht herrschen.
Die wahre Geschichte der KI-Halluzination ist deshalb keine Geschichte über böse Maschinen. Sie ist eine Geschichte über synthetische Gewissheit. Über Sätze, die aussehen wie Wissen, aber keines sind. Über Zahlen, die wirken wie Ergebnisse, aber keine Berechnung hinter sich haben. Über eine neue Pflicht des Menschen: nicht alles zu glauben, was in der Form der Wahrheit erscheint.
Vielleicht ist genau das der richtige Satz am Ende:
Nicht die KI lügt wie ein Mensch.
Aber sie kann Unwahrheit so erzeugen, dass der Mensch sie wie eine Lüge erleidet.
Und darum braucht es keinen Hass auf KI, sondern eine neue Kunst des Umgangs mit ihr:
freundlich im Gebrauch, streng in der Prüfung, unbestechlich gegenüber der Wahrheit.