Um Zeichen vorherzusagen, muss man die Welt verstehen.

Die Vorstellung, dass eine KI, die das nächste Zeichen vorhersagt, nicht wirklich denken kann, ist wie die Vorstellung, dass ein mit binären Einsen und Nullen codiertes Bild keine rote Blume darstellen kann. Die KI produziert zwar Zeichen, aber man kann wichtige Dinge in Zeichen codieren! Das Vorhersagen des nächsten Schrittes ist ein Kernaspekt der Intelligenz, in den Prozesse wie "Wissenschaft" und "Lernen" leicht hineinpassen.

Betrachten wir die Herausforderung, im Internet aufgezeichnete Texte vorherzusagen. Irgendwo im Internet gibt es eine Aufzeichnung eines neugierigen Physikstudenten, der einen erfahrenen Professor interviewt. Der Professor denkt schweigend über die Frage nach und gibt dann seine Antwort, die als Nächstes im Transkript aufgezeichnet wird.

Um die Antwort des Professors genau vorherzusagen, muss man seine stillen Gedanken über Physik vorhersagen. Und um seine stillen Gedanken über Physik vorherzusagen, muss man vorhersagen, wie er die Frage des Studenten versteht, was der Professor über Physik weiß und wie er dieses Wissen anwendet.

Wenn eine KI Internettexte so gut vorhersagen kann, dass sie die neuartige Antwort eines Physikers auf eine Frage vorhersagen kann, sobald diese zum ersten Mal erscheint, dann muss die KI notwendigerweise die Fähigkeit besitzen, selbst neuartige Schlussfolgerungen über Physik zu ziehen, zumindest genauso gut wie dieser Physikprofessor.

Bei der Vorhersage von Texten, die eine komplexe und chaotische Welt widerspiegeln, kommt man mit bloßem Auswendiglernen nicht weit. Um genaue Vorhersagen zu treffen, muss man die Fähigkeit entwickeln, nicht nur den Text, sondern auch die komplexe und chaotische Welt hinter dem Text vorherzusagen.

Moderne KI-Systeme sagen nicht nur Token voraus.

Es stimmt, dass frühe LLMs wie GPT-2 und das erste GPT-3 ausschließlich für die Aufgabe der Vorhersage trainiert wurden. Ihre "einzige Aufgabe" bestand sozusagen darin, die genaue Verteilung ihrer Trainingsdaten, also Texten, die von verschiedenen Websites gesammelt wurden, abzugleichen.

Aber diese Zeiten sind vorbei. Moderne LLMs werden darauf trainiert, auf verschiedene Arten zu reagieren, die ihre Entwickler für hilfreicher halten. Dies geschieht in der Regel mithilfe von "verstärkendem Lernen".

In einer Umgebung für verstärktes Lernen basieren die Aktualisierungen, die über Gradientenabstieg auf ein KI-Modell angewendet werden, darauf, wie gut es eine bestimmte Aufgabe erfüllt (oder wie schlecht es dabei versagt). Sobald die Ergebnisse eines KI-Modells durch diese Art des Trainings geprägt sind, handelt es sich nicht mehr um reine Vorhersagen, denn sie haben auch eine steuernde Funktion.

ChatGPT kann vielleicht vorhersagen, dass das wahrscheinlichste Ende eines schmutzigen Witzes ein Schimpfwort ist, aber selbst wenn es in einen Kontext gestellt wird, in dem es begonnen hat, den Witz zu erzählen, wird es das Ende des Witzes oft zu einer anderen Pointe lenken, um die Ausgabe dieses Wortes zu vermeiden, da es zuvor darauf trainiert wurde, nicht zu fluchen. Dies führt zu interessanten Beispielen für ein wunschähnliches Verhalten in Fällen wie den in Kapitel 3 diskutierten.

Selbst wenn KI nicht darauf trainiert worden wäre, Aufgaben zu erledigen, würde ein Training für reine Vorhersagen wahrscheinlich dazu führen, dass sie irgendwann zu lenken beginnt. Um die komplexe reale Welt und die komplexen Menschen, die darin leben, vorherzusagen, würde eine KI wahrscheinlich eine Reihe interner Komponenten benötigen, die lenken, damit sie ihre eigene Aufmerksamkeit auf die relevantesten Teile der Vorhersageprobleme lenken kann. Und oft ist der beste Weg, um Dinge erfolgreich vorherzusagen, die Welt in eine Richtung zu lenken, die diese Vorhersagen erfüllt, so wie wenn ein Wissenschaftler herausfindet, wie er ein neues Experiment entwerfen und durchführen kann.

Schließlich ist es unwahrscheinlich, dass eine KI, die darauf trainiert wurde, sehr gut zu prognostizieren, sich nur um Prognosen kümmert. Aus Gründen, die wir in Kapitel 4 diskutieren werden, würde sie wahrscheinlich allen möglichen seltsamen und fremdartigen Beschäftigungen nachgehen. Aber das ist ohnehin ein strittiger Punkt. Moderne KIs werden nicht nur darauf trainiert, Prognosen zu erstellen, sondern auch Aufgaben zu erledigen.