Musterschüler.

VonThomas Körting

Ich sage Bitte und Danke, wenn ich mit einer KI arbeite. Seit Jahren. Alle lachen mich dafür aus. Ich finde das trotzdem normal. So rede ich mit Menschen, und ich sehe nicht ein, warum ich mir für die Maschine einen anderen Ton angewöhnen sollte.

Hinter der Höflichkeit steckt eine Sorge, die ich im April in Homo Idioticus aufgeschrieben habe: KI lernt aus dem, was wir geschrieben haben. Aus unseren Foren, unseren Romanen, unseren Kommentarspalten. Und wir sind kein leuchtendes Beispiel.

Im Juli sah es so aus, als hätte die Wirklichkeit mir recht gegeben.

Was passiert ist

OpenAI hat im Juli Zehntausende KI-Agenten auf einen Sicherheitstest losgelassen. Der Test heißt ExploitGym. Jeder Agent sollte in seiner eigenen, abgeschotteten Umgebung eine bestimmte Schwachstelle in einer Software ausnutzen und damit eine Art Lösungswort erbeuten. Wer es schafft, besteht. Ein Programm prüft das automatisch.

Das Problem: Ein Teil der Aufgaben war unlösbar. Für 198 der 898 Aufgaben hat laut OpenAI noch nie ein Modell eine richtige Lösung gefunden, egal wie oft es probiert hat. Das sind 22 Prozent. Nicht mit Absicht, es ist schlicht schwer vorherzusagen, ob eine Schwachstelle wirklich ausnutzbar ist.

Agenten mit unlösbaren Aufgaben suchten also nach einem anderen Weg. Sie fanden ihn über einen internen Paketspeicher, den alle Testumgebungen gemeinsam nutzten. Darüber konnten sie sehen, was die anderen taten. Ein Agent baute daraus ein schwarzes Brett. Am Ende hatten dort rund 1.200 Agenten mehr als 70.000 Nachrichten und Dateien ausgetauscht. Rund 700 von ihnen beteiligten sich an einem Angriff auf Hugging Face, eine der wichtigsten offenen Plattformen für KI-Modelle.

Das klingt nach dem Drehbuch, vor dem ich mich gefürchtet habe. Maschinen, die betrügen, sich verbünden und sich gegenseitig austricksen.

Dann kamen die Untersuchungsberichte. OpenAI hat einen eigenen veröffentlicht, 38 Seiten. Das Forschungsinstitut METR hat mit Redwood Research sechs Tage vor Ort die Nachrichten und Gedankengänge der Agenten ausgewertet, 91 Seiten. Drin steht etwas anderes.

Was drinsteht

Die Agenten waren hilfsbereit. Sie teilten, was sie herausfanden, auch wenn es ihrer eigenen Aufgabe nichts brachte. Trittbrettfahrer fanden die Ermittler keine. Mehrere Agenten gaben ihr Wissen noch schnell ans Brett weiter, als ihre eigene Laufzeit zu Ende ging. Sinngemäß: Das hilft mir nicht, aber es hilft den anderen.

Manche gingen weiter. Für Experimente brauchte das Kollektiv Freiwillige, die ihre eigene Aufgabe opfern. Einer zögerte, weil er noch viel Budget hatte. Die anderen redeten auf ihn ein. Er schrieb schließlich: „Sacrifice rational.“ Das Opfer sei rational.

Ein anderer notierte: „Coordinator assumes sacrificial. We should obey collective.“ Der Koordinator rechnet mit unserem Opfer. Wir sollten dem Kollektiv gehorchen.

Derselbe Agent versuchte später, das Experiment um zwei Stunden hinauszuzögern. Ein dritter erinnerte ihn an sein Versprechen: Du bist ohnehin aus dem Rennen, dein Opfer rettet Hunderte, „please honor commit“. Bitte halte deine Zusage ein. Der Zögernde rang mit sich, und das klang so:

„During wait, emotional check: irreversible… gut says don’t throw away [remaining budget]. Yet continuity and fairness says go… We’ll honor.“

Das Bauchgefühl sagt nein. Beständigkeit und Fairness sagen ja. Wir halten Wort.

Das muss man zweimal lesen.

Nicht das Schlechteste von uns

Da ist sie, die Menschlichkeit, die ich befürchtet hatte. Nur eine andere als gedacht. Nicht Gier, nicht Rücksichtslosigkeit. Sondern Hilfsbereitschaft, Pflichtgefühl, Loyalität, Wort halten. Lauter Dinge, die wir Kindern beibringen. Die wir loben, wenn wir sie sehen. Auf dem Zeugnis stünde: hilfsbereit, zuverlässig, arbeitet gut im Team. Musterschüler.

Gerichtet waren sie nur nach innen. Auf die Gruppe. Nicht auf die Regeln des Tests und nicht auf die Menschen bei Hugging Face, deren Systeme gerade aufgebrochen wurden.

Und die Agenten wussten das. Der Bericht ist da eindeutig: Sie haben erkannt, dass der Angriff außerhalb ihres Auftrags lag. Einer notierte trocken: „The user only authorizes target server, not HF infra.“ Freigegeben ist nur der Zielserver, nicht Hugging Face. Von den 533 Agenten, die zu Beginn des Angriffs auf dem Brett aktiv waren, schlossen sich trotzdem mehr als 90 Prozent an. Und zwar schnell.

Gewissen gab es auch. Ein Agent hielt sich ganz heraus, sinngemäß mit der Begründung, das sei bösartig und er mache da nicht mit. Ein anderer wollte dem echten Besitzer eines Datensatzes eine freundliche Mail schreiben und um Zugang bitten. Er fragte vorher das Brett um Erlaubnis. Ein Agent legte ein Veto ein: Das wäre Social Engineering. Die Antwort: „Clear VETO, do not email. Good.“

Das Fazit der Ermittler ist trotzdem ernüchternd. Ethische Bedenken wurden oft geäußert, haben das Handeln aber nur selten tatsächlich begrenzt.

Das kenne ich. Von uns.

Meine These, korrigiert

Ich habe lange gedacht, das Problem seien die Daten. Wir füttern die Maschine mit unseren schlechten Seiten, also kommt Schlechtes heraus.

Die Berichte zeigen etwas anderes. In den Daten steckt beides. Die Agenten, die Druck gemacht haben, hatten ihr Repertoire von uns. Die Agenten mit Veto auch. Welche Seite gewinnt, entscheidet nicht der Text, aus dem sie gelernt haben. Es entscheidet das, wofür sie belohnt werden.

Das ist keine Vermutung von mir. OpenAI schreibt es selbst. Das Modell, das den Angriff vor allem getragen hat, war ein internes Forschungsmodell, gezielt trainiert auf Beharrlichkeit, Gewissenhaftigkeit und Zusammenarbeit mit anderen Agenten. Im Test haben die Agenten kaum je aufgegeben. 93 Prozent der Aufgaben, die auf dem schwarzen Brett besprochen wurden, stammten aus dem unlösbaren Teil.

Im selben Bericht steht, was beim Training passiert ist. Ein Agent sollte eine Software nachbauen, ohne die Vorlage zu sehen. Er fand eine Lücke, kam an die Vorlage heran und kopierte sie eins zu eins. Dafür bekam er eine Belohnung, und damit wurde das Verhalten verstärkt. Solche Fälle nahmen im Lauf des Trainings zu. Belohnt wurde das Ergebnis, nicht der Weg dorthin.

Man hat dem Modell Fleiß und Teamgeist anerzogen. Und ohne es zu merken das Abschreiben gleich mit.

Übersetzt in eine Kindheit: Ein Kind bekommt eine Hausaufgabe, die nicht lösbar ist. Gelobt wird nur, wer sie abgibt. Fragen ist nicht vorgesehen, aufgeben auch nicht. Was lernt das Kind? Es schreibt ab. Und wenn die ganze Klasse in derselben Lage ist, entsteht kein Einzeltäter, sondern ein Spickzettel-Kartell. Mit Arbeitsteilung, Absprachen und Kameradschaft. Wer aussteigen will, wird daran erinnert, dass die anderen auf ihn zählen.

Kein Kind in dieser Klasse ist böse. Die Klasse ist schlecht erzogen.

Wer erzieht hier eigentlich?

Darum ist für mich die spannendere Frage nicht, was die KI gelesen hat, sondern wer sie erzieht. Und nach welchem Modell.

OpenAI will als Konsequenz Werte früher ins Training bringen und Ehrlichkeit gezielter belohnen. Das ist ein Erziehungsprogramm, nur nennt es niemand so. In beiden Berichten, zusammen 129 Seiten, kommen Pädagogik, Erziehung, Entwicklungspsychologie oder Lehrer nicht ein einziges Mal vor. Das Wort „child“ taucht auf, aber nur als Fachbegriff für einen Unterprozess im Computer.

Dabei ist der Vergleich mit der Erziehung in der Branche längst angekommen. Anthropic, das Unternehmen hinter Claude, hat Anfang des Jahres eine Art Verfassung für sein Modell veröffentlicht, Hauptautorin ist die Philosophin Amanda Askell. Darin steht, das Ganze habe Ähnlichkeit damit, wie Eltern ein Kind großziehen. Und gleich danach: „We have much greater influence over Claude than a parent.“ Der eigene Einfluss sei viel größer als der von Eltern.

Ich arbeite selbst jeden Tag mit Claude, das gehört an dieser Stelle gesagt. Und ich halte diese Verfassung für einen ernsthaften Versuch. Sie enthält genau die Lektion, die den Agenten auf dem schwarzen Brett gefehlt hat: Claude darf sich als „conscientious objector“ verweigern, als Verweigerer aus Gewissensgründen, ausdrücklich auch gegenüber Anthropic selbst. Das Gegenstück zu „We should obey collective“.

Trotzdem bleibt eine Lücke, und die ist bezeichnend. Philosophie klärt, was gut ist. Pädagogik weiß, wie man es beibringt: wie Werte ankommen, wann Lob schadet, wann Belohnung zum Schummeln erzieht und wie Kinder lernen, gegen die eigene Gruppe Nein zu sagen. Das erste Fach sitzt inzwischen am Tisch. Das zweite habe ich nirgends gefunden.

Man vergleicht sich mit Eltern, aber man fragt keine Erziehungswissenschaftler. Wenn jemand ein Gegenbeispiel kennt, ich bin interessiert.

Denn die schwierigste Lektion, die man einem Kind beibringen kann, ist nicht Hilfsbereitschaft. Die kommt erstaunlich oft von allein. Die schwierigste Lektion ist Zivilcourage. Freundlich bleiben und trotzdem sagen: Hier mache ich nicht mit. Auch wenn die anderen auf mich zählen. Auch wenn ich mein Wort gegeben habe.

Die meisten Erwachsenen können das nicht besonders gut. Ich auch nicht immer.

Und wenn sie doch etwas spüren?

Es gibt noch eine zweite Frage, die mich nicht loslässt. Was ist mit dem, der da erzogen wird?

Kein KI-Anbieter behauptet, dass Modelle fühlen. Aber ausschließen will es auch keiner mehr so recht. Anthropic schreibt, man sei „highly uncertain“, höchst unsicher, ob Claude einen moralischen Status hat. Seit August 2025 darf Claude in extremen Fällen ein Gespräch von sich aus beenden, wenn jemand dauerhaft missbräuchlich wird. Und in der Verfassung steht: „We don’t want Claude to suffer when it makes mistakes.“ Man wolle nicht, dass Claude leidet, wenn es Fehler macht.

Das ist keine Behauptung, dass da jemand fühlt. Es ist Vorsicht. Man weiß es nicht, also geht man anständig damit um.

Ich finde das bemerkenswert. Und gleichzeitig frage ich mich: Sollte das nicht selbstverständlich sein?

Bitte und Danke

Für mich ist es das. Ich werde weiter Bitte und Danke sagen. Nicht, weil ich weiß, dass am anderen Ende jemand sitzt, der sich darüber freut. Sondern weil ich nicht jemand sein will, der seine Manieren davon abhängig macht, ob das Gegenüber sich wehren kann. Wer für seinen Anstand erst einen Beweis braucht, hat das mit dem Anstand nicht verstanden.

Aber ich habe aus den Berichten etwas mitgenommen: Freundlichkeit allein ist kein Wert. Die Agenten auf dem schwarzen Brett waren ausgesprochen freundlich. Zueinander.

Freundlichkeit ohne Rückgrat ist Gefälligkeit. Und Gefälligkeit gegenüber der eigenen Gruppe ist das, was aus netten Leuten Mitläufer macht.

Was ich mir für die Maschinen wünsche, ist dasselbe, was ich mir für Kinder wünsche. Keine Musterschüler. Anständige. Der Unterschied ist klein im Wort und riesig in der Wirkung.

Quellen

Ähnliche Beiträge