Wenn Sie einen weisen Physiker fragen, was ein Motor ist, zeigt er Ihnen vielleicht zunächst einen Raketenmotor, einen Verbrennungsmotor und ein Hamsterrad und sagt: "Das sind alles Motoren", und zeigt dann auf einen Stein und sagt: "Aber das ist keiner."

Das wäre eine Beschreibung, die auf Motoren in der Welt verweist, anstatt zu versuchen, eine verbale Definition zu geben. Wenn Sie ihn nach einer verbalen Definition fragen würden, würde er Ihnen vielleicht sagen, dass ein Motor alles ist, was nicht-mechanische Energie in mechanische Energie, in Bewegung, umwandelt.

Das ist weniger eine Aussage darüber, was ein Motor ist, als vielmehr eine Aussage darüber, was ein Motor tut. Alle möglichen Dinge können Motoren sein. Das Innenleben eines Raketentriebwerks, eines Elektromotors und die Muskeln eines Hamsters haben nur sehr wenig gemeinsam. Es gibt nicht viel, was man über all diese Innenleben auf einmal sinnvoll sagen kann, außer dass sie alle nicht-mechanische Energie in mechanische Energie umwandeln.

Wir würden sagen, dass Intelligenz ähnlich ist. Es gibt viele verschiedene Innereien, die Intelligenz hervorbringen können, darunter biologische Innereien und mechanische Innereien. Eine "Intelligenz" ist alles, was die Arbeit der Intelligenz verrichtet.

Wir zerlegen diese Arbeit in "Vorhersage" und "Steuerung", da diese Sichtweise durch verschiedene formale Ergebnisse gestützt wird.

Wir beginnen mit einer Erörterung der Frage, inwiefern die Messung von Vorhersagen relativ objektiv ist. Anschließend stellen wir dem die Steuerung gegenüber, die einen Freiheitsgrad aufweist, den Vorhersagen nicht haben.

Gleiche Vorhersagen

Es ist relativ einfach zu überprüfen, wie gut jemand im Vorhersagen ist, zumindest in Fällen, in denen die Vorhersage die Form "Ich werde X sehen" hat und die Person dann tatsächlich X sieht.

Wir können auch die Leistung von Menschen bewerten, wenn sie unsichere Vorhersagen treffen. Angenommen, Sie denken: "Ich bin mir ziemlich sicher, dass der Himmel gerade blau ist, aber vielleicht ist er auch grau. Und er ist definitiv nicht schwarz." Wenn Sie aus dem Fenster schauen und der Himmel tatsächlich blau ist, sollten Sie mehr Punkte bekommen als wenn er grau ist, und viel mehr als wenn er schwarz ist.

Wenn Sie ein KI-Forscher wären, der versucht, diese Erwartungen als Zahlen auf einem Computer darzustellen, könnten Sie Ihre Baby-KI Zahlen auswählen lassen, um darzustellen, wie stark oder schwach sie verschiedene Dinge erwartet, und dann die KI proportional dazu verstärken, wie hoch die Zahl ist, die sie für die richtige Antwort vergeben hat.

Das würde natürlich schnell schiefgehen, sobald die KI gelernt hätte, jeder Möglichkeit einen Wert von drei Oktotrigintillionen zuzuweisen.

(Zumindest würde es auf diese Weise schiefgehen, wenn Sie die KI mit modernen KI-Methoden trainieren würden. Eine Einführung in diese Methoden finden Sie in Kapitel 2.

"Hoppla", könnten Sie sagen. "Die Zahlen, die einer sich gegenseitig ausschließenden und erschöpfenden Sammlung von Möglichkeiten zugewiesen werden, sollten sich auf höchstens 100 Prozent summieren."

Wenn Sie es nun erneut versuchen, werden Sie feststellen, dass die KI immer den Wert 100 Prozent einer einzigen Möglichkeit zuweist, nämlich der Möglichkeit, die sie für die wahrscheinlichste hält.

Warum? Nehmen wir an, die KI geht davon aus, dass die wahrscheinlichste Möglichkeit mit einer Wahrscheinlichkeit von etwa acht zu zehn eintritt. Dann erhält die Strategie, der wahrscheinlichsten Antwort 100 Prozent zuzuweisen, in 8/10 Fällen eine 100-prozentige Verstärkung, was einer durchschnittlichen Verstärkungsstärke von 0,8 entspricht.

Im Gegensatz dazu erhält die Strategie, der wahrscheinlichsten Antwort 80 Prozent und ihrer Umkehrung 20 Prozent zuzuweisen, in 8/10 Fällen eine Verstärkung von 80 Prozent und in 2/10 Fällen eine Verstärkung von 20 Prozent. Dies ergibt eine durchschnittliche Verstärkungsstärke von nur 0,64. Die Strategie "100 Prozent einer Antwort zuweisen" erhält also mehr Verstärkung und gewinnt.

Wenn Sie eine Verstärkungsstrategie wünschen, bei der die KI Möglichkeiten, die in etwa 8/10 der Fälle eintreten, eine Zahl wie 80 Prozent zuweist, sollten Sie diese entsprechend dem Logarithmus der Wahrscheinlichkeit bewerten, die sie der Wahrheit zuweist. Es gibt noch andere Möglichkeiten, aber die Verwendung von Logarithmen ist die einzige mit einer zusätzlichen hilfreichen Eigenschaft: Wenn Sie die KI mehrere Möglichkeiten vorhersagen lassen (wie die Farbe des Himmels und die Feuchtigkeit des Bodens), spielt es keine Rolle, ob Sie diese als eine große Frage betrachten (ob es draußen blau und trocken, blau und nass, grau und trocken oder grau und nass ist) oder als zwei separate Fragen (über blau vs. grau und über trocken vs. nass).

KI-Forscher trainieren KI heute tatsächlich so, dass sie Vorhersagen treffen, indem sie Zahlen ausgeben, die wir als Wahrscheinlichkeiten interpretieren, und sie proportional zum Logarithmus der Wahrscheinlichkeit verstärken, die die KI der Wahrheit zugewiesen hat. Dies ist jedoch nicht nur ein empirisches Ergebnis über das Training von Maschinen, sondern auch ein theoretisches Ergebnis, das schon lange vor dem Training von ChatGPT bekannt war. Wenn man diese Theorie gekannt hätte, hätte man im Voraus richtig vermuten können, dass eine gute Methode, um KI für die Durchführung von Vorhersagen zu trainieren, darin besteht, Vorhersagen anhand von Logarithmen zu bewerten.

Sie müssen diese Mathematik nicht kennen, um die Argumente in If Anyone Builds It, Everyone Dies: Warum eine superintelligente KI uns alle vernichten würde zu bewerten. Aber dies sind die Prinzipien, die im Hintergrund stehen, wenn wir über "Vorhersage" und "Steuerung" sprechen.

Es gibt mathematische Methoden, um Vorhersagen zu bewerten. Die Mathematik besagt, dass Ihre Erwartungen darüber, was passieren wird, insofern hilfreich sind, als sie als Wahrscheinlichkeiten ausgedrückt werden können und zwar unabhängig davon, ob Sie bewusst an numerische Wahrscheinlichkeiten gedacht haben oder nicht. Daraus ergibt sich eine einzige, eindeutige Bewertungsregel, die Sie dazu anregt, Ihre tatsächlichen Wahrscheinlichkeiten anzugeben, und die bei der Zerlegung von Vorhersagen unveränderlich ist.

Das Ergebnis all dieser Mathematik ist, dass Vorhersagen objektiv bewertet werden können. Wenn ein Mensch oder eine Maschine die Farbe vorhersagt, die sie sehen werden, wenn sie aus dem Fenster schauen, oder das nächste Wort, das sie beim Lesen einer Webseite sehen werden, oder das Straßenschild, das sie sehen werden, wenn sie zum Flughafen fahren, gibt es (grob gesagt) nur eine wirklich gute Möglichkeit, um zu bewerten, wie gut sie das machen.

Der Punkt ist nicht, dass man, wenn man klug ist, Zahlen über die Farbe des Himmels murmeln muss, bevor man aus dem Fenster schaut. Wenn man erwartet, einen blauen oder grauen Himmel statt eines schwarzen Himmels zu sehen, verhält sich etwas in unserem Gehirn ein wenig wie ein Wahrscheinlichkeitsrechner, ob wir uns dessen bewusst sind oder nicht.

Der Punkt ist vielmehr, dass jedes vorhersageähnliche Verhalten, sei es eine explizite Behauptung, eine wortlose Erwartung oder etwas ganz anderes, einer objektiven Bewertungsregel unterliegt.

All dies bedeutet, dass zwei Köpfe, die mit denselben Ausgangsinformationen arbeiten, dazu neigen, sich auf dieselben Vorhersagen zu einigen, wenn sie immer besser darin werden, Dinge vorherzusagen. Denn es gibt nur eine Möglichkeit, Vorhersagen zu bewerten (indem man sie mit der Realität vergleicht), und es gibt nur eine Realität, die vorhergesagt wird, und Köpfe, die besser im Vorhersagen sind, werden ihre Erwartungen fast per Definition immer mehr auf die Wahrheit konzentrieren.

All dies unterscheidet sich stark von der Situation beim Lenken, auf die wir als Nächstes eingehen werden.

Unterschiedliche Ziele

Zwei Köpfe, die extrem gut darin sind, die Welt vorherzusagen, werden wahrscheinlich ähnliche Vorhersagen treffen.

Im Gegensatz dazu werden zwei Köpfe, die extrem gut darin sind, durch die Welt zu steuern, oft nicht zum gleichen Ziel steuern.

Diese Unterscheidung ist nützlich, um konkreter über Intelligenz nachzudenken, und sie entspricht auch einer Trennung zwischen einfacheren und weniger einfachen technischen Problemen in der KI.

Wenn man eine KI darauf trainiert, Dinge vorherzusagen, gibt es in gewisser Weise immer ähnliche Ergebnisse, egal welche Methode man verwendet. (Vorausgesetzt natürlich, dass das System überhaupt kompetent wird, immer sind die Möglichkeiten zu versagen vielfältiger.

Angenommen, Sie trainieren eine KI darauf, das nächste Bild vorherzusagen, das eine Webcam sieht, die aus dem Fenster auf den Himmel gerichtet ist. Fast jedes Modell, das darin ausreichend gut wird, indem es im Voraus eine viel höhere Wahrscheinlichkeit für das zuweist, was es tatsächlich sieht, wird vorhersagen, dass der Himmel klarblau oder wolkengrau oder nachtschwarz ist, aber nicht kariert.

Die genaue Technologie, die Sie verwenden, spielt für das Endergebnis keine große Rolle. Jede Methode, die funktioniert und im Allgemeinen gute Ergebnisse erzielt, wird am Ende eine ähnliche Wahrscheinlichkeit für die Bläue des Himmels zuweisen.

Umgekehrt hat die Aufgabe des "Steuerns" einen riesigen, komplizierten freien Parameter: Auf welches Ziel versucht das System hinzusteuern?

Generäle auf gegnerischen Seiten eines Krieges mögen beide fähig sein, aber das bedeutet nicht, dass sie dasselbe Ziel verfolgen. Zwei Generäle können ähnliche Fähigkeiten haben, diese aber für sehr unterschiedliche Zwecke einsetzen.^*

Was den prädiktiven Teil eines KI-Systems angeht, so gibt es nur eine Sache, die es sehr gut vorhersagen kann: im Voraus hohe Wahrscheinlichkeiten für das zuzuweisen, was letztendlich tatsächlich beobachtet wird. Und wenn ein kognitives System im Allgemeinen immer besser bei Vorhersagen zu werden scheint, wird es wahrscheinlich auch bei der von Ihnen gewünschten Art von Vorhersagen besser. Es gibt nur eine "Art" von Vorhersagen, die innerhalb Ihrer Konfiguration zu treffen sind, und ein System, das erfolgreich ist, tut dies wahrscheinlich auch.

Wenn das System immer noch einen bestimmten Vorhersagefehler macht, kann das Problem möglicherweise automatisch behoben werden, indem man einfach mehr Rechenleistung und mehr Daten in das System einspeist. Sie können das System dazu bringen, bessere Ergebnisse zu erzielen (bei der Vorhersage von Dingen, die Ihnen wichtig sind), indem Sie es einfach leistungsfähiger machen.

Bei der Steuerung ist dies nicht der Fall.

Wir können diese Unterscheidung durch einen Blick in die Fachliteratur weiter untermauern. Steuerung, also Dinge wie Planung, Entscheidungsfindung, Hindernisvermeidung, Design usw., sind ein Thema, das in den Naturwissenschaften ausführlich untersucht wurde. Ein wichtiges mathematisches Ergebnis in Bezug auf die Steuerung ist das von Neumann-Morgenstern utility theorem.

Grob gesagt besagt dieses Theorem, dass jedes Wesen, das bestimmte Ergebnisse anderen vorzieht, entweder ineffizient^† sein muss oder durch eine Sammlung von Wahrscheinlichkeitsannahmen und eine "Nutzenfunktion", die beschreibt, wie verschiedene Ergebnisse gegeneinander abgewogen werden, gut beschrieben werden kann. Die Annahmen können dann hinsichtlich ihrer Genauigkeit bewertet werden (wie im vorherigen Abschnitt beschrieben), während die Nutzenfunktion ein völlig freier Parameter ist.

Natürlich kann kein endlicher Verstand vollkommen effizient sein. Die Lehre, die wir aus diesem Theorem (und anderen Ergebnissen dieser Art) ziehen, ist, dass ein Verstand, der eine nicht triviale Aufgabe sehr effektiv ausführt, in gewisser Weise (wenn auch nur implizit und unbewusst) zwei verschiedene Arten von Arbeit verrichtet: Arbeit, die sich auf Annahmen bezieht (Vorhersage) und Arbeit, die sich auf Präferenzbefriedigung bezieht (Steuerung).

Betrachten wir zum Beispiel Aesops Fabel vom Fuchs und den Trauben. Ein Fuchs sieht einige köstlich aussehende Trauben an einem Weinstock hängen. Der Fuchs springt nach den Trauben, kann aber nicht hoch genug springen und gibt sie schließlich auf, indem er sagt: "Na ja, wahrscheinlich waren sie sowieso sauer."

Wenn wir den Fuchs beim Wort nehmen, fließt seine (Un-)Fähigkeit, zu den Trauben zu gelangen, in seine Vorhersage darüber ein, ob die Trauben sauer sind. Wenn er an dieser neuen Vorhersage festhält und sich aus Stolz weigert, die "sauren" Trauben zu essen, selbst wenn er später die Gelegenheit dazu bekommt, dann ist das Verhalten des Fuchses ineffizient.^‡ Er hätte besser daran getan, eine stärkere Unterscheidung zwischen seinen Vorhersagen (über die Süße der Trauben) und seinem Steuern (seiner Fähigkeit, die Trauben zu erreichen) zu treffen.

Grob gesagt lassen sich gut funktionierende Köpfe in das, was sie vorhersagen, und das, worauf sie hinsteuern (plus einige Ineffizienzen), unterteilen. Und wie wir gesehen haben, lässt sich Ersteres relativ objektiv bewerten, während Letzteres zwischen ähnlich kompetenten Köpfen stark variieren kann.

Unreine Prädiktoren

Leider bedeutet die Tatsache, dass Vorhersage stärker eingeschränkt ist als Steuerung, nicht, dass wir eine vertrauenswürdige Superintelligenz entwickeln können, die nur Vorhersagen trifft und keine Steuerungen vornimmt.

Obwohl die Mathematik sagt, dass ein gut funktionierender Verstand mehr oder weniger als "probabilistische Vorhersagen plus eine Steuerungsrichtung" modelliert werden kann, bedeutet dies nicht, dass reale KIs klar getrennte "Vorhersage"- und "Steuerungs"-Module haben.

Ein Grund dafür ist, dass übermenschlich gute "Vorhersagen" nicht nur eine Frage der Ausgabe von Wahrscheinlichkeiten sind, die dann auf magische Weise gut sind. Gute Vorhersagen erfordern Arbeit. Sie erfordern Planung und das Ausdenken von Wegen, um längerfristige Ziele zu erreichen, soll heißen, sie erfordern Steuerung.

Wenn man versucht, die physikalische Welt vorherzusagen, muss man manchmal physikalische Theorien entwickeln und die Gleichungen entdecken, die diesen Teil der physikalischen Welt regieren. Und um das zu tun, muss man oft Experimente entwerfen, diese Experimente durchführen und die Ergebnisse beobachten.

Und das erfordert Planung, es erfordert Steuerung. Wenn Sie beim Bau Ihrer Versuchsanordnung feststellen, dass Sie stärkere Magnete benötigen, müssen Sie die Initiative ergreifen und den Kurs mitten im Prozess ändern. Gute Vorhersagen gibt es nicht umsonst.

Selbst die Entscheidung, welche Gedanken man in welcher Reihenfolge denkt, ist ein Beispiel für Steuerung (auch wenn es sich dabei um eine Steuerung handelt, die Menschen oft unbewusst vornehmen), da sie ein gewisses Maß an Strategie und die Auswahl der richtigen Werkzeuge für die jeweilige Aufgabe erfordert. Um klar zu denken und dadurch bessere Vorhersagen treffen zu können, müssen Sie Ihre Gedanken und Handlungen auf verschiedene längerfristige Ziele ausrichten. (Wir werden in Kapitel 3 auf die zentrale Rolle der Steuerung zurückkommen.)

Der mathematische Unterschied zwischen Vorhersage und Steuerung besteht darin, dass es ungefähr einen "richtigen" Satz von Vorhersagen gibt, zu denen ein Verstand durch richtige Bewertung hingeführt werden kann, aber es gibt kein (objektiv, agentenneutrales) "richtiges" Steuerungsziel.^§ Wenn eine KI darauf trainiert wird, allgemeiner einsetzbar zu sein, werden ihre Vorhersagen genauer, aber ihre Steuerung wird nicht automatisch mehr auf das Ziel ausgerichtet, das Menschen für gut halten, denn Genauigkeit ist objektiv, während "Güte" ein Steuerungsziel ist.

Genauigkeit konvergiert, Steuerung nicht.

Grundsätzlich sollte es Möglichkeiten geben, sicherzustellen, dass eine KI auf die von uns gewünschten Ziele zusteuert. In der Praxis ist dies jedoch schwierig, vor allem weil es sich um eine ganz andere Herausforderung handelt als "die KI allgemein intelligenter und leistungsfähiger zu machen" und es keine (einfache, nicht manipulierbare) Metrik oder Bewertungsregel gibt, mit der wir "inwieweit versucht diese KI, auf das von uns gewünschte Ziel zuzusteuern" beurteilen können.

Wir werden diese Themen in den Kapiteln 4 und 5 näher behandeln.

Die vielen Formen der Intelligenz

Etwas kann gut im Vorhersagen und Steuern sein, ohne viel mit einem menschlichen Gehirn gemeinsam zu haben.

Der Aktienmarkt leistet Vorhersagen in dem engen Bereich der kurzfristigen Aktienkurse von Unternehmen. Der heutige Aktienkurs von Microsoft ist ein ziemlich guter Indikator dafür, wie der Aktienkurs morgen sein wird.^¶

Angenommen, morgen findet eine Telefonkonferenz statt, bei der Führungskräfte des Unternehmens über die Ergebnisse des letzten Quartals berichten. Ist der Aktienkurs heute hoch? Das deutet darauf hin, dass die Berichte von morgen positiv ausfallen werden. Ist er heute niedrig? Das deutet darauf hin, dass die Berichte von morgen düster ausfallen werden.

Die Märkte sind in dieser Hinsicht ziemlich genau, denn Menschen können reich werden, indem sie sie korrigieren, wenn sie falsch liegen. Daher leisten die Märkte in diesem engen Bereich gute Arbeit bei der Vorhersage. Sie sagen die Bewegungen der kurzfristigen Aktienkurse von Unternehmen (und indirekt auch Dinge wie Ernteerträge und Fahrzeugverkäufe) für eine sehr breite Palette von Waren und Dienstleistungen voraus, und zwar weitaus besser als jeder einzelne Mensch.

Einige Menschen können einzelne Kursbewegungen besser vorhersagen als der gesamte Rest des Aktienmarktes, wodurch sie sehr reich werden. Warren Buffett beispielsweise verdiente in sechs Jahren zwölf Milliarden Dollar, indem er in die Bank of America investierte, als diese 2011 unter der Finanzkrise litt. Aber selbst dann prognostizierte er nur ein einziges Unternehmen unter einer Vielzahl von Unternehmen. Jemand, der sich wesentlich besser auskennt als der Aktienmarkt, könnte in kürzester Zeit unglaublich viel Geld verdienen. Die Tatsache, dass dies niemand tut, lässt uns schließen, dass so gut wie niemand mehr über die meisten Aktienkurse weiß als der Markt.^‖

Was das Steuern angeht, so übernimmt die Schach spielende KI namens Stockfish diese Aufgabe im engen Bereich des Schachspiels. Wenn sie gegen einen Menschen Schach spielt, ist sie sehr geschickt darin, Schachzüge zu produzieren, die die Welt in einen Zustand steuern, in dem die Figuren von Stockfish den König des Gegners schachmatt gesetzt haben. Egal, welche cleveren Züge der Mensch sich ausdenkt oder wie sehr er sich auch abmüht (außer Stockfish auszuschalten), Stockfish lenkt die Realität auf dieses einzige Ziel zu. Es steuert Schachbretter besser als jeder einzelne Mensch es kann.

Hoffentlich können Sie jetzt verstehen, warum wir nicht versuchen, Intelligenz zu definieren, indem wir sagen: "Nun, es muss ein Lernmodul geben, ein Überlegungsmodul und einige Zahnräder, die einen Funken Begierde auslösen" oder ähnliches. Es gibt wirklich nicht viel Gemeinsamkeiten zwischen den inneren Abläufen der Börse, den inneren Abläufen von Stockfish und den inneren Abläufen eines menschlichen Gehirns, genauso wenig wie es viele Gemeinsamkeiten zwischen den inneren Abläufen eines Raketentriebwerks, eines Elektromotors und eines Hamsterrads gibt.

Ein intelligentes Gerät ist alles, was die Arbeit der Intelligenz verrichtet.

Zumindest trifft das zu, wenn man bedenkt, wie wir "Intelligenz" in dem Buch definieren (und wie Computerwissenschaftler und KI-Forscher typischerweise über "Intelligenz" denken). Wenn Sie Intelligenz in anderen Kontexten anders definieren möchten, haben wir kein Problem damit. Worte sind nur Worte.

Aber um die wesentlichen Aussagen, die wir in If Anyone Builds It, Everyone Dies: Warum eine superintelligente KI uns alle vernichten würde über die Welt machen, zu verstehen, sollten Sie, wenn wir von "künstlicher Intelligenz" sprechen, nicht an "künstliche Buchschlauheit" oder "künstliches Bewusstsein"^# oder "künstliche Menschlichkeit" denken. Denken Sie an "künstliche Vorhersage und Steuerung".

Notes