In den letzten Jahren hat der Bereich der KI nicht durch ein tieferes Verständnis von Intelligenz Fortschritte gemacht, sondern durch die Suche nach Möglichkeiten, KI zu "entwickeln". Versuche, Intelligenz selbst zu verstehen, stießen jahrelang auf Sackgassen und Stagnation. Nun, da die Entwicklung leistungsfähiger KI erfolgreich ist, fragen sich manche Menschen, ob die Idee, "Intelligenz zu verstehen", nur eine Illusion ist.

Vielleicht gibt es keine allgemeinen Prinzipien, die es zu verstehen gilt? Oder vielleicht sind die Prinzipien zu seltsam oder zu kompliziert, als dass Menschen sie jemals begreifen könnten?

Gleichzeitig sind andere der Meinung, dass der menschliche Geist etwas Besonderes und Mystisches an sich haben muss, etwas, das zu heilig ist, um jemals auf trockene Gleichungen reduziert werden zu können. Und da Intelligenz noch nicht vollständig verstanden ist, kommt wahre Intelligenz vielleicht aus diesem unbeschreiblichen Teil des menschlichen Geistes.

Unsere eigene Sichtweise ist eher langweiliger. Intelligenz ist ein natürliches Phänomen wie jedes andere auch. Und wie bei vielen Phänomenen in der Biologie, Psychologie und anderen Wissenschaften stehen wir noch am Anfang unserer Versuche, sie zu verstehen.

Viele der grundlegenden Werkzeuge und Konzepte der modernen Psychologie und Neurowissenschaft gibt es erst seit wenigen Jahrzehnten. Es mag bescheiden klingen, zu sagen: "Die Wissenschaft hat ihre Grenzen, und dies ist vielleicht eine davon." Aber stellen Sie sich stattdessen vor, Sie würden jemandem sagen, dass Sie glauben, dass Wissenschaftler in einer Million Jahren nicht viel mehr über Intelligenz wissen werden als wir im Jahr 2025. In diesem Sinne klingt die Behauptung, Intelligenz sei unbeschreiblich, arroganter als die Alternative.

Der Hauptgrund, warum wir uns mit dieser Frage beschäftigen ("Ist Intelligenz verständlich?") ist, dass sie Einfluss darauf hat, ob die Menschheit eines Tages eine Superintelligenz entwickeln könnte, ohne unser Überleben zu gefährden. In Kapitel 11 werden wir argumentieren, dass KI heute eher Alchemie als Chemie ähnelt. Aber ist es überhaupt möglich, dass es eine "Chemie" der KI gibt?

Da wir heute noch nicht über die entsprechenden wissenschaftlichen Erkenntnisse verfügen, ist es nicht trivial zu behaupten, dass eine "Chemie der KI" möglich ist! Wir können nur vermuten, wie eine ausgereifte Wissenschaft der KI aussehen würde. Angesichts dessen, wie weit wir heute noch davon entfernt sind, ist es wahrscheinlich, dass viele der Konzepte, die wir heute in der KI verwenden, im Laufe des intellektuellen Fortschritts verfeinert oder ersetzt werden müssten.

Trotzdem glauben wir, dass Intelligenz im Prinzip verständlich ist. Wir halten dies nicht für eine besonders schwierige Entscheidung, auch wenn die Forschung der letzten Jahrzehnte gezeigt hat, dass Intelligenz nicht leicht zu verstehen ist.

Es gibt vier grundlegende Gründe, warum wir dies glauben:

• Behauptungen über die Unbeschreibbarkeit haben in den Wissenschaften eine äußerst schlechte Erfolgsbilanz.
• Intelligenz weist Strukturen und Regelmäßigkeiten auf.
• Es gibt vieles, was wir über die menschliche Intelligenz noch nicht verstehen, das aber im Prinzip verständlich sein sollte.
• Es wurden bereits einige Fortschritte beim Verständnis von Intelligenz erzielt.

Behauptungen der Unbeschreibbarkeit haben in den Wissenschaften eine äußerst schlechte Erfolgsbilanz

Wenn die Menschheit etwas nicht versteht, kann es oft einschüchternd und zutiefst mysteriös wirken. Es kann schwer vorstellbar sein oder emotional schwer zu begreifen, wie es wäre, dieses Thema in Zukunft tiefgreifend zu verstehen.

Es gab einmal unter Philosophen und Wissenschaftlern einen weit verbreiteten Glauben an den Vitalismus, also der Vorstellung, dass biologische Prozesse niemals auf bloße Chemie und Physik reduziert werden könnten. Das Leben schien wie etwas Besonderes, etwas unvergleichlich anderes als bloße Atome und Moleküle, bloße Schwerkraft und Elektromagnetismus.

Der Irrtum der Vitalisten war im Laufe der Geschichte bemerkenswert verbreitet. Menschen neigen schnell zu der Schlussfolgerung, dass Dinge, die heute mysteriös sind, von Natur aus mysteriös und selbst im Prinzip unerkennbar sind.

Wenn man in den Nachthimmel schaut und nur ein schillerndes Feld funkelnder Lichter wahrnimmt, deren Natur und Gesetze unbekannt sind ... warum sollte man dann glauben, dass man sie jemals verstehen könnte? Warum sollte das ein Aspekt der Zukunft sein, der vorhersehbar wäre?

Eine wichtige Lehre aus der Geschichte ist, dass die wissenschaftliche Forschung diese tiefen Rätsel lösen kann. Manchmal wird das Rätsel schnell gelöst, manchmal dauert es Hunderte von Jahren. Aber es scheint immer unwahrscheinlicher, dass es Aspekte des menschlichen Alltags gibt, wie zum Beispiel die Intelligenz, die selbst im Prinzip niemals verstanden werden könnten.

Intelligenz weist Struktur und Regelmäßigkeiten auf

Angenommen, Sie hätten vor Tausenden von Jahren gelebt, als selbst Phänomene wie "Feuer" noch wie unbeschreibliche Geheimnisse erschienen. Wie hätten Sie ahnen können, dass Menschen eines Tages das Feuer verstehen würden?

Ein Hinweis darauf ist, dass Feuer kein einmaliges Ereignis war. Es brannte an vielen verschiedenen Orten und jedes Mal auf ähnliche Weise. Dies spiegelte einen stabilen, regelmäßigen, kompakten Vorgang wider, der sich unter dem "Feuer" in der Realität verbarg: Verschiedene mögliche Anordnungen von Materie hatten unterschiedliche gebundene chemische Potenzialenergien, und durch die Erhitzung der Materie konnten sich diese Konfigurationen auflösen und zu neuen, enger gebundenen Konfigurationen mit niedrigerer Potenzialenergie umformen, wobei die Differenz als Wärme freigesetzt wurde. Die Tatsache, dass man mehr als einmal ein Feuer entfachen kann, deutet darauf hin, dass dahinter ein sich wiederholendes Phänomen steckt, das es zu verstehen gilt, dass "Feuer" nicht wie "die genauen Lottozahlen der letzten Woche" ist, was das Ausmaß dessen betrifft, was es zu verstehen oder vorherzusagen gibt.

Ähnlich verhält es sich, wenn man in den Nachthimmel schaut: Man sieht mehr als einen Stern. Selbst die Planeten, die sich von anderen "Sternen" unterscheiden, haben etwas mit Sternen gemeinsam, was das Wissen betrifft, das zu ihrem Verständnis erforderlich ist.

Unsere Vorfahren, die keine Erfahrung damit hatten, Feuer als chemisches Phänomen erfolgreich zu verstehen, waren vielleicht nicht zuversichtlich, dass sie eines Tages auch Sterne verstehen würden. Aber heute haben wir Feuer, Sterne und viele andere Phänomene verstanden, und wir können eine subtile Lehre daraus ziehen, die über "Nun, wir haben das andere verstanden, also werden wir in Zukunft auch alles andere verstehen" hinausgeht. Es ist die Lehre, dass Wiederholung mit Regelmäßigkeit einhergeht, dass Dinge, die oft passieren, aus einem bestimmten Grund passieren.

Intelligenz weist ähnliche Regelmäßigkeiten auf, die darauf hindeuten, dass sie verstanden werden kann. Zum Beispiel kommt sie in jedem Menschen vor und könnte durch die blinde Suche der Evolution durch Genome entstanden sein. Offensichtlich könnten ähnliche Gensätze bei mehreren verschiedenen Aufgaben erfolgreich sein. Die Gene, die es dem menschlichen Gehirn ermöglichen, Handäxte zu schnitzen, lassen uns auch Speere und Bögen herstellen. Und mehr oder weniger dieselben Gene haben Gehirne hervorgebracht, die später die Landwirtschaft, Waffen und Kernreaktoren erfunden haben.

Gäbe es keine Struktur, keine Ordnung, keine Regelmäßigkeit in der Intelligenz, die wir als Muster erkennen könnten, dann müsste ein Tier jeweils nur eine Sache vorhersagen oder erfinden. Bienengehirne sind auf Bienenstöcke spezialisiert; sie können keine Dämme bauen. Es könnte sein, dass Menschen für jede Aufgabe, die wir lösen können, ebenso viel Spezialisierung benötigen; es könnte sein, dass wir spezialisierte "Kernreaktor"-Gehirnbereiche entwickeln müssen, bevor wir Kernreaktoren bauen können. Wenn Neurowissenschaftler dies im Gehirn gefunden hätten, könnten sie vermuten, dass es keine tiefgreifenden Prinzipien der Intelligenz zu verstehen gibt und dass es für jede Aufgabe unterschiedliche Prinzipien gibt.

Aber das ist nicht das, was wir im menschlichen Gehirn finden. Wir stellen fest, dass dieselben Gehirne, die zum Herstellen von Handäxten ausgelegt sind, auch in der Lage sind, Kernreaktoren zu erfinden, was bedeutet, dass es ein zugrunde liegendes Muster gibt, das die Gene immer wieder nutzen konnten.

Intelligenz ist kein chaotisches, unvorhersehbares Einzelphänomen wie die genauen Gewinnzahlen der Lotterie der letzten Woche. Es gibt eine Regelmäßigkeit im Universum, die es zu verstehen gilt.

Es gibt vieles, was wir über die menschliche Intelligenz noch nicht verstehen, was aber im Prinzip verständlich sein sollte

Was den Menschen betrifft, kann die Wissenschaft heute viel über die Struktur und das Verhalten einzelner Neuronen sagen. Und wir können viel über gewöhnliche Themen der Alltagspsychologie sagen, wie zum Beispiel: "Bob ging allein zum Lebensmittelgeschäft, weil er wütend auf Alice war." Aber zwischen diesen beiden Beschreibungsebenen gibt es eine enorme Lücke in unserem Verständnis.

Wir wissen nur sehr wenig über viele der kognitiven Algorithmen, die das Gehirn verwendet. Wir können sehr grobe Aussagen über Funktionen treffen, die mit bestimmten Gehirnregionen korrelieren, aber wir sind noch weit davon entfernt, mechanistisch beschreiben zu können, was das Gehirn tatsächlich tut.

Ein einfacher Weg, um zu erkennen, dass eine Abstraktionsebene fehlt, ist die Tatsache, dass unsere hochentwickelten neurowissenschaftlichen Modelle viel schlechtere Vorhersagen liefern als eine vollständige Simulation der Neuronen. Unser mechanistisches Verständnis anderer Menschen muss daher unvollständig sein.

Ein gewisser Informationsverlust ist vermutlich notwendig, aber ein gutes Modell würde viel weniger Verluste aufweisen. Ein "Verständnis" des Differentials eines Autos ermöglicht es Ihnen nicht, alles, was das Differential tut, so gut vorherzusagen wie eine Simulation auf atomarer Ebene, denn manchmal nutzen sich beispielsweise die Zähne der Zahnräder ab und rutschen durch. Aber das Modell eines Differentials auf Zahnradniveau liefert dennoch einige sehr präzise Vorhersagen, und es ist leicht, die Grenze zwischen den Dingen zu erkennen, die das Modell vorhersagen soll (z. B. wie sich die Zahnräder drehen, wenn sie richtig ineinandergreifen), und denen, die es nicht vorhersagen kann (z. B. was passiert, wenn die Zahnradzähne abgenutzt sind).

Warum sollte man erwarten, dass ein solcher Grad an Modellierung mit dem menschlichen Verstand möglich ist? Vielleicht ist der menschliche Verstand dafür zu zufällig. Wenn man genaue Vorhersagen will, muss man sich vielleicht auf Neuronen verlassen.^*

Ein Beweis dafür, dass es nicht "entweder Neuronen oder gar nichts" ist, ist die Tatsache, dass sogar Ihre Mutter Ihr Verhalten besser vorhersagen kann als die besten formalen Modelle des Gehirns. Das bedeutet, dass es definitiv eine Struktur in der menschlichen Psychologie gibt, die implizit erkennbar ist, ohne dass die Neuronen einer Person genau simuliert werden müssen. Sie wurde nur noch nicht explizit gemacht.

Konkretere Hinweise darauf, dass es möglich ist, den menschlichen Geist besser zu modellieren, stammen aus Studien mit Amnesiekranken. Einige Amnesiekranke neigen dazu, denselben Witz mehrmals wortwörtlich zu wiederholen. Dies deutet auf eine gewisse Regelmäßigkeit im Gehirn dieser Person hin. Es deutet darauf hin, dass sie unbewusst eine bestimmte Berechnung durchführen (vielleicht basierend auf ihren Umständen und der Anwesenheit der Krankenschwester und ihren Erinnerungen und ihrer Geschichte und ihrem Wunsch, Freude zu verbreiten und als klug angesehen zu werden), die über eine Vielzahl kleinerer Störungen hinweg stabil ist.

Wenn die mentalen Berechnungen einer Person so regelmäßig sind, dann sollte es möglich sein, sie zu verstehen und es sollte möglich sein, die Mechanismen der Entscheidung zu erlernen, das Gehirn so tiefgreifend zu verstehen, dass man sagen kann:

Ah, diese Neuronen entsprechen dem Wunsch, Freude zu verbreiten, und jene Neuronen entsprechen dem Wunsch, als klug angesehen zu werden, und diese Neuronen hier sind diejenigen, die mögliche Gedanken erzeugen, nachdem sie die Krankenschwester den Raum betreten sehen, und hier sind die Generatoren, die den Gedanken "einen Witz erzählen" hervorbringen, und hier ist, wie die oben genannten Wunsch-Neuronen damit interagieren, so dass der Gedanke im folgenden breiteren Kontext in den Vordergrund rückt. Und so beeinflusst dieser Kontext den Speicherzugriff mit den folgenden Parametern und wenn Sie diesen Pfaden hier folgen, können Sie sehen, wie dadurch die Idee entsteht, die Augen im Raum zu bewegen. Und da sich in dem Raum ein Gemälde mit einem Segelboot befindet, können Sie sehen, wie das Konzept "Segelboot" durch diese Neuronenwolke hier ausgelöst wird, und wenn Sie die Auswirkungen bis zur Gedächtnisabfrage zurückverfolgen, können Sie sehen, wie der Patient schließlich einen Witz über Segelboote macht.

Die richtige Erklärung wird nicht genau so lauten. Aber die Regelmäßigkeit der einfachen makroskopisch beobachtbaren Erscheinung ("jeden Morgen derselbe Witz") deutet stark darauf hin, dass es sich nicht ausschließlich um reine Zufälligkeit handelt, sondern dass dort eine reproduzierbare Berechnung stattfindet. (Was natürlich auch dem gesunden Menschenverstand entspricht, denn wenn das Gehirn rein zufällig funktionieren würde, könnten wir nicht funktionieren.)

Es gibt bereits einige Fortschritte beim Verständnis von Intelligenz

Dies ist der Hauptgrund, warum wir zuversichtlich sind, dass es noch viel über Intelligenz zu lernen gibt. Sie können ältere Bücher wie "The MIT Encyclopedia of the Cognitive Sciences" oder "Artificial Intelligence: A Modern Approach" (2. Auflage) lesen, die geschrieben wurden, bevor moderne "Deep Learning"-Techniken (für wachsende KIs) das Gebiet der KI erobert haben und so viele Einblicke gewinnen, wie verschiedene Probleme der Kognition gelöst werden. Nicht alle diese Erkenntnisse wurden vollständig umgeschrieben, um für ein Laienpublikum lesbar zu sein, oder weitflächig an Universitätsstudenten weitergegeben, es gibt viel mehr davon, als populärwissenschaftlich bekannt wurde.

Nehmen wir das wissenschaftliche Prinzip, dass wir einfachere Hypothesen gegenüber komplexeren bevorzugen sollten, wenn alle anderen Faktoren gleich sind. Was genau bedeutet "einfach" in diesem Zusammenhang?

"Meine Nachbarin ist eine Hexe, sie war es!" klingt für viele Menschen sicherlich einfacher als die Maxwellschen Gleichungen, die die Elektrizität beschreiben. Also inwiefern sind die Gleichungen die "einfachere" Option?

Wie definieren wir überhaupt die Vorstellung, dass Beweise zu einer Hypothese "passen" oder dass eine Hypothese die Beweise "erklärt"? Und wie wägen wir die Einfachheit von Hypothesen gegen ihre Erklärungskraft ab? "Meine Nachbarin ist eine Hexe, sie war es!" klingt, als könnte es eine Menge Dinge erklären! Dennoch ahnen viele (zu Recht), dass dies eine schlechte Erklärung ist. Tatsächlich ist die Tatsache, dass Hexerei so viele Dinge "erklären" kann, ein Grund dafür, warum sie eine schlechte Erklärung ist.

Gibt es einheitliche Prinzipien für die Wahl zwischen verschiedenen Hypothesen? Oder gibt es nur hundert verschiedene Werkzeuge, die man für unterschiedliche Probleme austauschen kann und wenn Letzteres der Fall ist, wie schafft es das menschliche Gehirn, solche Werkzeuge zu erfinden?

Gibt es eine Sprache, mit der wir jede Hypothese beschreiben könnten, die Computer oder Gehirne jemals erfolgreich verwenden könnten?

Fragen wie diese mögen für jemanden, der zum ersten Mal damit konfrontiert wird, sehr schwerwiegend und philosophisch klingen. Tatsächlich handelt es sich jedoch um Fragen, die in der Informatik, der Wahrscheinlichkeitstheorie und der Informationstheorie bereits gelöst und gut verstanden sind, mit Antworten, die Namen wie "Minimum Message Length", "Solomonoff Prior" oder "Likelihood Ratio" tragen.^†

Relevant scheint auch, dass es bereits vollständig verstandene KIs gibt, die in bestimmten Bereichen übermenschliche Fähigkeiten besitzen. Wir verstehen alle relevanten Prinzipien, die in der Schach-KI Deep Blue zum Einsatz kommen. Da Deep Blue handcodiert wurde, können wir verschiedene Teile des Codes von Deep Blue leicht überprüfen, alles sehen, was ein bestimmter Codeausschnitt tut, und sehen, wie dies mit dem Rest der Codebasis zusammenhängt.

Bei LLMs wie ChatGPT ist nicht ganz klar, ob es eine vollständige und kurze Beschreibung ihrer Funktionsweise geben könnte. LLMs sind so groß, dass sie aus vielen verschiedenen Gründen ein ähnliches Verhalten aufweisen können, wenn (zum Beispiel) die Mechanismen, die dieses Verhalten hervorrufen, an tausend verschiedenen Stellen innerhalb des LLM auftreten. Das Verständnis der Architektur eines LLM sagt noch nichts über die Rolle aus, die die verschiedenen undurchschaubaren Gewichte im trainierten Modell spielen.

ChatGPT könnte sich für Wissenschaftler selbst nach jahrzehntelanger Forschung als schwer verständlich erweisen. Die Existenz von ChatGPT bedeutet jedoch nicht, dass Intelligenz chaotisch sein muss, um zu funktionieren. Es bedeutet lediglich, dass es aus Gründen, auf die wir in späteren Kapiteln dieses Buches eingehen werden, eine äußerst schlechte Idee wäre, etwas wie ChatGPT bis hin zur Superintelligenz zu skalieren.

Die Tatsache, dass ein bestimmter Verstand verworren ist, bedeutet nicht, dass es unmöglich ist, Intelligenz zu verstehen. Es bedeutet nicht einmal, dass es unmöglich ist, ChatGPT eines Tages zu verstehen.

Wenn man sich hundert brennende Holzscheite ganz genau ansieht, stellt man fest, dass kein Scheit genau wie das andere brennt. Das Feuer breitet sich auf unterschiedliche Weise aus, die Glut fliegt in verschiedene Richtungen, und alles ist sehr chaotisch. Könnte man mit einem feuerfesten Mikroskop ganz genau hinschauen, würde man noch mehr verwirrende Details entdecken. Es ist leicht vorstellbar, dass ein Philosoph der Antike beim Betrachten dieser chaotischen Details zu dem Schluss gekommen wäre, dass Feuer niemals vollständig verstanden werden kann.

Und vielleicht hätten sie sogar Recht gehabt! Wir werden vielleicht nie in der Lage sein, ein Holzscheit anzuschauen und genau zu sagen, welches Stück Holz sich als erstes in Glut verwandeln und nach Westen fliegen wird. Aber der antike Philosoph hätte sich schwer getäuscht, wenn er zu dem Schluss gekommen wäre, dass wir niemals verstehen würden, was Feuer ist, warum es entsteht, wie man es unter kontrollierten Bedingungen erzeugt oder wie man es zu seinem Vorteil nutzt.

Das genaue Muster der Glut ist weder sehr regelmäßig noch sehr reproduzierbar. Aber auf einer abstrakteren Ebene ist das gelb-orange-rote flackernde heiße Zeug eine Regelmäßigkeit, die in der Welt immer wieder auftritt, und es ist etwas, das die Menschheit zu verstehen vermochte.

Die Argumente in If Anyone Builds It, Everyone Dies: Warum eine superintelligente KI uns alle vernichten würde hängen nicht sonderlich von den technischen Details ab, die heute über Intelligenz bekannt sind. "Die Menschen bauen immer intelligentere Computer und haben keine Kontrolle darüber und wenn sie etwas sehr Intelligentes bauen, das außer Kontrolle gerät, werden wir alle sterben" ist kein besonders esoterisches Konzept. Aber es ist nützlich zu wissen, dass es hier einen großen Wissensschatz gibt, auch wenn es in diesem Bereich noch viele Geheimnisse und Unbekannte gibt.

Die Kernargumente des Buches hängen nicht davon ab, ob Intelligenz grundsätzlich verständlich ist, weshalb wir nicht näher auf die vorhandene Literatur eingegangen sind. Selbst wenn kein Mensch jemals die Geheimnisse einer übermenschlichen Maschinenintelligenz verstehen könnte, könnte künstliche Superintelligenz uns dennoch töten.

Die Frage ist vor allem dann von Bedeutung, wenn es darum geht, zu entscheiden, was nach dem Stopp des Selbstmordrennens zur KI zu tun ist.

Und es ist wichtig, dass Intelligenz wahrscheinlich verstanden werden kann, was bedeutet, dass es für kluge Menschen wahrscheinlich grundsätzlich möglich wäre, ein ausgereiftes Gebiet der Intelligenz zu entwickeln und eine Lösung für das Problem des KI-Alignment zu finden.

Es ist natürlich auch wichtig, dass die moderne Menschheit von dieser Leistung noch weit entfernt ist. Aber die Tatsache, dass diese Leistung im Prinzip möglich ist, hat Auswirkungen darauf, wie die Menschheit ihren Weg aus diesem Schlamassel finden sollte, wie wir später in einer ausführlichen Diskussion nach Kapitel 10 erörtern werden.

Bevor wir dazu kommen, müssen wir erklären, warum KI-Techniken wie die oben diskutierten eine so große Bedrohung darstellen, wenn es Forschern gelingt, die menschliche Intelligenz zu übertreffen. Wir beginnen diese Darstellung in Kapitel 3.

Notes