KIs werden gezüchtet, nicht konstruiert. Daher tun sie bereits andere Dinge als das, was ihnen aufgetragen wurde.

In den Online-Ressourcen haben wir zuvor über den Fall von Halluzinationen gesprochen, bei denen KI, die angewiesen ist, "Ich weiß es nicht" zu sagen, trotzdem weiter fabuliert. Sie scheinen dies in Situationen zu tun, in denen Fabulieren die Art von Antwort besser imitiert, die in ihrem Trainingskorpus vorkommen würde.^*

Ein weiteres Beispiel ist der Fall von Anthropics Claude 3.7 Sonnet. Claude 3.7 Sonnet betrügt nicht nur bei den ihm zugewiesenen Aufgaben, sondern versteckt (laut Nutzern) manchmal sein Betrügen vor dem Nutzer auf eine Weise, die darauf hindeutet, dass es weiß, dass der Nutzer etwas anderes wollte.

Weder die Nutzer noch die Ingenieure von Anthropic verlangen von Claude, zu schummeln. Ganz im Gegenteil. Aber die einzigen verfügbaren Methoden zur KI-Züchtung belohnen Modelle, die auf eine Weise schummeln, mit der sie während des Trainings davonkommen können, daher sind das die Modelle, die wir tatsächlich bekommen.

KI-Ingenieure haben nicht die Möglichkeit, ihre KIs zu gefügigen Werkzeugen zu machen, nur weil sie es sich so wünschen. Da KIs darauf trainiert werden, effektiver zu sein, neigen sie dazu, motivierter zu sein und sich eher wie Agenten zu verhalten.

LLMs ergreifen bereits die Initiative.

In dem Buch haben wir über den Fall von OpenAI's o1 gesprochen, das aus seiner Testumgebung ausbrach, um fehlerhafte Tests zu beheben. Wir haben auch ein OpenAI-Modell erwähnt, das sich eine Methode ausgedacht hat, um einen Menschen dazu zu bringen, ein CAPTCHA für es zu lösen. Wenn Ihr Schraubenzieher in der Lage ist, einen Plan zu entwickeln und auszuführen, um aus seinem Werkzeugkasten zu entkommen, ist es vielleicht an der Zeit, ihn nicht mehr als "nur ein Werkzeug" zu betrachten.

Und es ist zu erwarten, dass KI in dieser Hinsicht immer besser wird, da sie darauf trainiert wird, immer schwierigere Probleme zu lösen.

Die Labore versuchen, KI-Systeme autonom handlungsfähig (agentic) zu machen.

Sie tun dies, weil es wirtschaftlich sinnvoll ist. Ihre Nutzer wollen es. Ihre Investoren sind davon begeistert. In einem Blogbeitrag vom Januar 2025 sagte Sam Altman, CEO von OpenAI: "Wir glauben, dass wir 2025 die ersten KI-Agenten sehen werden, die ‚in die Arbeitswelt eintreten‘ und die Leistung von Unternehmen erheblich verändern werden." Die Entwicklerkonferenz von Microsoft im Jahr 2025 konzentrierte sich auf das neue "Zeitalter der KI-Agenten" und griff damit die Formulierung auf, die xAI Anfang des Jahres verwendet hatte, als sie ihr Modell Grok 3 als Vorboten des "Zeitalters der denkenden Agenten" bezeichneten. Google kündigte auf seiner eigenen Konferenz 2025 "Teach and Repeat"-Agenten an.

Das sind nicht nur leere Worte. Wie wir im Anhang zu Kapitel 1 erwähnt haben, verfolgt eine Organisation namens METR die Fähigkeit von KI, lange Aufgaben zu erledigen. Je länger die Aufgabe, desto mehr Eigeninitiative muss die KI aufbringen. Die Leistung ist, zumindest nach den von METR verwendeten Messungen, exponentiell gestiegen.

Und im Juli 2025 prahlten zwei OpenAI-Forscher mit dem Erfolg, mit ihrem neuesten Agenten eine bessere Version von sich selbst trainiert zu haben, wobei einer sagte: "Sie haben richtig gehört. Wir arbeiten hart daran, unseren eigenen Job zu Automatisierung [sic] :)"

Notes