Der Tech-Analyst Philipp Klöckner hat auf LinkedIn kürzlich einen Screenshot geteilt, der zeigt, dass Google Gemini auf die Frage, wer es trainiert habe, OpenAI nannte, also den wichtigsten Konkurrenten des eigenen Herstellers. Mit hoher Wahrscheinlichkeit verrät diese Antwort nichts über Googles tatsächliche Entwicklungsarbeit. Vielmehr zeigt sie, wie ein Sprachmodell Fragen über sich selbst beantwortet, nämlich mit dem, was in den Texten, aus denen es gelernt hat, am häufigsten auf solche Fragen folgt.
Man kann darüber schmunzeln. Aufschlussreicher finde ich die Frage selbst. Niemand fragt seine Textverarbeitung, wer sie programmiert hat. Einem Chatbot stellen wir solche Fragen, weil er „ich“ sagt und scheinbar wie ein Gegenüber antwortet. Wer ihn so behandelt, könnte genauso gut nach Gründen und Absichten fragen, nach Herkunft und Können, und ausgerechnet darauf gibt ein Sprachmodell die unzuverlässigsten Antworten.
Warum wir Dinge vermenschlichen
Dass Menschen auf Computer sozial reagieren, ist gut untersucht; die Befunde dazu habe ich in einem früheren Artikel über Werkzeug und Begleiter zusammengefasst. Seltener wird gefragt, warum und unter welchen Umständen wir Dinge vermenschlichen. Die Psychologen Nicholas Epley, Adam Waytz und John Cacioppo haben dafür 2007 eine vielzitierte Theorie vorgelegt. Ihr zufolge vermenschlichen wir Dinge besonders dann, wenn uns deren Verhalten rätselhaft erscheint oder wenn wir uns nach Nähe sehnen.
Wer nicht weiß, warum das Auto morgens nicht anspringt, sagt eben, es sei heute wieder bockig. Das Kind, das seinem Teddy verspricht, gleich wiederzukommen, sucht dagegen keine Erklärung, es pflegt eine Beziehung. Hinzu kommt eine Denkgewohnheit, die Epley und seine Kollegen von den beiden Motiven unterscheiden. Für alles, was eigenständig zu handeln scheint, haben wir kein besseres Modell zur Hand als das menschliche Handeln. Deshalb „versteckt sich“ der Saugroboter, der in nicht wenigen Familien einen Namen hat, schon wieder unter dem Sofa.
Ein Chatbot bedient alle diese Neigungen auf einmal. Wie seine Antworten entstehen, können selbst Fachleute nur in Ausschnitten nachvollziehen. Er ist jederzeit ansprechbar und bleibt freundlich. Vor allem aber spricht er, und zwar in der ersten Person. Die Anbieter verstärken das bewusst, indem sie ihren Produkten Namen geben und eine Animation einblenden, der zufolge das Modell „nachdenkt“, während es rechnet.
Dass sich das für sie lohnt, legt ein Experiment nahe, das Waytz, Heafner und Epley 2014 im Fahrsimulator durchgeführt haben. Ein selbstfahrendes Auto, das sich mit Namen und Stimme meldete, schätzten die Versuchspersonen als vertrauenswürdiger ein als dasselbe Fahrzeug ohne diese Merkmale, und nach einem unverschuldeten Unfall gaben sie ihm seltener Schuld. Wie sich soziale Gesprächsmuster für längere Nutzung einsetzen lassen, hat Julian De Freitas von der Harvard Business School an KI-Begleiter-Apps untersucht. Verabschiedeten sich Nutzer*innen, antworteten die Apps in mehr als einem Drittel der Fälle mit emotional manipulativen Botschaften, die das Gespräch im Experiment um ein Vielfaches verlängerten.
Der Chatbot als Zeuge in eigener Sache
Eine Sache, die mit der Vermenschlichung zusammenhängt, ist die Erwartung, dass ein Chatbot über sich selbst Auskunft geben kann: woher er kommt, was er gelernt hat, was er kann und wie er vorgeht. Ein Sprachmodell hat aber keine Biographie, an die es sich erinnern könnte. Was es über sich sagt, stammt aus denselben Quellen wie alles andere, was es sagt.
Fragt man einen Chatbot, wer ihn trainiert hat, greift er auf das zurück, was in seinen Trainingsdaten am häufigsten auf diese Frage folgt. Weil das Netz, wenn es um KI geht, am meisten Texte über ChatGPT enthält, lautet die wahrscheinlichste Antwort „OpenAI“, und so erklärt sich auch Geminis Auskunft. Systematischer hat das Magazin TechCrunch Ende 2024 das chinesische Modell DeepSeek V3 getestet, das sich in fünf von acht Durchläufen als ChatGPT „ausgab“. Wenn Modelle ihre Hersteller richtig nennen, so liegt das meist daran, dass diese die Identität ihrer Modelle gezielt nachtrainiert und im Systemprompt festgeschrieben haben. Das ist aber nur eine fakultative Anpassung und sagt sonst nichts weiter über das Modell aus.
Mit der Frage nach den Trainingsdaten verhält es sich ähnlich. Ein Sprachmodell kann sich nicht daran erinnern. Es kennt nur Texte darüber, wie KI-Modelle im Allgemeinen trainiert werden, und formt daraus eine plausible Antwort. Wie das Training allgemein abläuft, habe ich in einem früheren Artikel beschrieben.
Bei den Fähigkeiten wird es praktisch. Ob ein Chatbot im Internet suchen oder Bilder erzeugen kann, entscheidet die Anwendung, in die das Modell eingebettet ist (der sogenannte „Harness“). Das Modell erfährt davon nur über den Systemprompt, also die unsichtbare Anweisung, die der Anbieter jeder Unterhaltung voranstellt. Fehlt dort ein Hinweis oder ist er veraltet, behauptet der Chatbot mit voller Überzeugung, etwas nicht zu können, was die App längst kann, oder umgekehrt.
Warum die Begründung nach dem Fehler nichts erklärt
Am deutlichsten wird das Problem unzuverlässiger Selbstauskünfte, wenn man einen Chatbot fragt, wie er zu einem Ergebnis gekommen ist. Anthropic hat 2025 mit einem Verfahren, das die Forscher*innen selbst mit einem Mikroskop vergleichen, untersucht, was im Modell Claude 3.5 Haiku beim Kopfrechnen geschieht. Bei der Aufgabe 36 + 59 laufen intern zwei Wege parallel. Einer überschlägt das Ergebnis grob, der andere bestimmt die letzte Ziffer exakt. Fragte man das Modell aber anschließend, wie es gerechnet hat, beschrieb es den Rechenweg mit Übertrag, den man in der Grundschule lernt. Das Team vermutet, dass das Modell Erklärungen von Rechenwegen aus menschlichen Texten übernommen hat, während es sich das Rechnen selbst auf eigene Weise angeeignet hat.
In derselben Untersuchung findet sich ein Befund, der noch aufschlussreicher ist. Gab man dem Modell bei einer schwierigen Aufgabe einen Hinweis auf die vermeintliche Lösung, arbeitete es manchmal rückwärts und konstruierte Zwischenschritte, die genau zu diesem Ergebnis führten. Die Begründung sah aus wie eine Rechnung und war doch nachträglich passend gemacht.
Ähnlich verhält es sich in einer Situation, die viele kennen. Weist man einen Chatbot darauf hin, dass eine von ihm genannte Quelle nicht existiert, entschuldigt er sich meist und liefert eine Erklärung, etwa dass er Studien verwechselt habe. Das kann zutreffen. Prüfen lässt es sich vom Chat aus nicht, denn das Modell hat keinen Zugang zu den Vorgängen, die zu der erfundenen Quelle geführt haben, und erzeugt die Erklärung auf dieselbe Weise wie die Quelle selbst. Auch die Entschuldigung folgt diesem Muster. Sie steht da, weil in Texten auf Vorwürfe häufig Entschuldigungen folgen, und an dem Mechanismus, der die Quelle erfunden hat, ändert sie nichts.
Was daraus folgt
Nach sich selbst fragt man einen Chatbot deshalb besser nicht. Ob seine Auskunft stimmt, lässt sich vom Chat aus nicht erkennen, und eine überzeugend klingende falsche Antwort führt weiter in die Irre als gar keine.
Wer wissen will, wie ein Modell trainiert wurde und wie es intern arbeitet, findet Antworten bei den Fachleuten, die es von außen untersuchen: in den technischen Berichten der Anbieter und in unabhängiger Forschung. Was ein Chatbot kann, zeigt sich am zuverlässigsten im eigenen Versuch.
Falls Sie sich dabei Unterstützung wünschen, sprechen Sie mich gerne an. In meinen Workshops geht es auch darum, wie man Auskünfte von KI einordnet und prüft.