Warum sollte eine KI etwas anderes anstreben als das, worauf sie trainiert wurde?
Weil es viele Möglichkeiten gibt, beim Training gute Leistungen zu erbringen.
Wenn Sie eine KI darauf trainiert haben, Ihre Scheune rot zu streichen, interessiert sich diese KI nicht unbedingt für rote Scheunen. Vielleicht entwickelt die KI eine Vorliebe dafür, ihren Arm in sanften, regelmäßigen Mustern zu bewegen. Vielleicht entwickelt sie eine Vorliebe dafür, von Ihnen anerkennende Blicke zu erhalten. Vielleicht entwickelt sie eine Vorliebe dafür, leuchtende Farben zu sehen. Höchstwahrscheinlich entwickelt sie eine ganze Reihe von Vorlieben. Es gibt viele Motivationen, die in der KI enden könnten, und die dazu führen würden, dass sie in diesem Zusammenhang Ihre Scheune rot streicht.
Wenn diese KI viel intelligenter würde, welche Ziele würde sie dann verfolgen? Wer weiß! Viele verschiedene Antriebe können im Training zu "die Scheune rot streichen" führen, und das Verhalten der KI in anderen Umgebungen hängt davon ab, welche spezifischen Antriebe sie letztendlich animieren. Weitere Informationen zu diesem Punkt finden Sie am Ende von Kapitel 4.
Heute werden KI so trainiert, dass sie freundlich und hilfsbereit handeln. Es ist daher nicht überraschend, dass sie sich in Situationen, die ihrer Trainingsumgebung ähneln, freundlich und hilfsbereit verhalten. Die frühen Menschen wurden durch die Evolution darauf "trainiert", sich fortzupflanzen, und das taten sie auch.
Aber (die meisten) Menschen entwickelten letztendlich keinen inneren Drang, so viele Kinder wie möglich zu bekommen. Als wir Sperma- und Eizellenbanken erfanden, geriet die Welt nicht in Panik und begann nicht, mit derselben Leidenschaft um Termine zu kämpfen, mit der Menschen sich um einen Platz an einer Ivy-League-Universität bemühen. Die Menschen hatten plötzlich die Möglichkeit, Hunderte von Nachkommen zu zeugen, und sie reagierten darauf meist mit einem Gähnen; die Schlangen vor den Spenderzentren reichten nicht einmal um den Block, obwohl viele Menschen gerne um einen Block herum Schlange stehen, um ein neues Videospiel zu kaufen oder ihren Lieblingsmusiker live zu sehen.
Menschen haben ihre eigenen Prioritäten, die lediglich mit der Maximierung der Fortpflanzung zusammenhängen. Wir sind nicht nur Maschinen, die "so viele Kinder wie möglich" produzieren, auch wenn uns die Evolution genau dazu "trainiert" hat. Wir haben die metaphorische Scheune rot gestrichen, aber aus unseren eigenen Gründen.
Die Frage ist nicht, ob KI-Unternehmen ihre Chatbots so programmieren können, dass sie sich für die meisten Nutzer in den meisten Situationen gut verhalten.* Die Frage ist, welche Mechanismen letztendlich dieses nette Verhalten bewirken und was diese Mechanismen eine KI dazu veranlassen würden, zu verfolgen, sobald sie superintelligent geworden ist.
KI-Unternehmen können ihre KIs darauf trainieren, freundlich zu handeln (oder, realistischerweise, wie freundliche Unternehmensdrohnen zu sprechen). Dies wirkt sich auf die inneren Mechanismen aus, die die KI animieren. Diese Mechanismen, wie auch immer sie aussehen mögen, ziehen in verschiedene Richtungen, und der aktuelle Gleichgewichtspunkt all dieser Kräfte innerhalb der KI, das aktuelle Gleichgewicht, ist ein freundliches Unternehmensdrohnenverhalten (mit einer Nebenwirkung von seltsamem Verhalten am Rande).
Dieses Gleichgewicht wird jedoch nicht nur von den Kräften innerhalb der KI bestimmt, sondern auch von der Intelligenz der KI, ihrer Trainingsumgebung, den Arten von Inputs, die sie während des Trainings sieht, und vielen anderen Faktoren.
Wie würde sich die KI in einer anderen Umgebung verhalten? Wie würde sie sich in einer Umgebung verhalten, in der sie intelligenter ist oder in der sie mehr Kontrolle über ihre eigenen Inputs hat? Wie wird sich die KI in dieser neuen, veränderten Welt verhalten, wenn sie ihre Umgebung zunehmend verändert? In diesen unterschiedlichen Welten könnten die komplizierten internen Mechanismen, die unserem Verhalten zugrunde liegen, ein völlig neues Gleichgewicht finden, so wie moderne Menschen sich ganz anders ernähren als unsere Vorfahren, die von der Evolution darauf ausgerichtet waren, bestimmte Nahrungsmittel zu sich zu nehmen, oder wie wir ganz andere Arten von Unterhaltung konsumieren. Das seltsame Verhalten am Rande wird wahrscheinlich in den Vordergrund treten. Ein Scheunenmaler von heute wird in der Regel nicht für immer Scheunenmaler bleiben.
Was ist das Endergebnis all dieser seltsamen Triebe? Was wird die KI tun, angetrieben von vielen Motiven, die wenig mit denen gemeinsam haben, die Menschen antreiben?
Nun, diese Frage werden wir in Kapitel 5 behandeln.
* Weitere Informationen darüber, warum dies keine sehr informative Frage ist, finden Sie in unserer Antwort auf “Machen Entwickler ihre KIs nicht standardmäßig nett, sicher und gehorsam?“
Notes
[1] Maximierung der Fortpflanzung: Das soll nicht heißen, dass sich kein Mensch für Kinder interessiert. Viele Menschen möchten ein paar Kinder haben, manche möchten sogar viele Kinder haben. Aber selbst wenn man sich für Kinder interessiert, ist das nicht ganz dasselbe wie sich für genetische Fitness zu interessieren, wie wir später in den Online-Ressourcen zu Kapitel 4 diskutieren werden.
Letztes Jahr haben wir eine kurze Online-Umfrage durchgeführt:
Ein zwielichtiges Superwesen nähert sich Ihnen in einer Gasse und verspricht Ihnen glaubhaft, dass, wenn Sie ihm 1 Dollar zahlen, im nächsten Jahr weltweit eine Million Kinder mit einem Ihrer Chromosomen geboren werden, das zufällig zugewiesen wird. Die Eltern haben dem zugestimmt. Die Kinder werden Sie nicht kennen. Akzeptieren Sie das?
(Gehen Sie von einer wirtschaftlichen Neutralität aus: Jede Frau oder jedes Paar, deren Schwangerschaft Ihr Chromosom enthält, hat einen Vertrag abgeschlossen und genau so viel Geld erhalten, dass ihr Nettogewinn aus diesem Vertrag gering ist. Außerdem wurden für die Zahlung des Superwesens neue Ressourcen verwendet, anstatt Geld umzuverteilen.
Von mehr als 1.500 Personen, die die Frage beantwortet haben, sagten ~48,9 Prozent “Nein” und ~51,1 Prozent “Ja”.
Gemessen an den Maßstäben unseres evolutionären “Trainingsziels“ entspricht diese Chance etwa 21.739 Kindern (da Menschen 46 Chromosomen haben und 1.000.000 / 46 = 21.739). Dies ist laut unserem Trainingsziel eines der besten Ergebnisse, das man sich vorstellen kann und weit mehr genetische Vermehrung, als sich irgendein Mensch in der evolutionären Umwelt seiner Vorfahren jemals hätte träumen lassen. Und doch gab die Hälfte der Befragten an, dass sie für dieses Privileg keinen Dollar bezahlen würden.
Erhöht man den Preis für diesen genetischen Lottogewinn auf 10.000 Dollar (was nur einen kleinen Bruchteil der Kosten für die Erziehung eines einzigen Kindes bis zum Erwachsenenalter ausmacht), sinkt die Zahl der Menschen, die sagen, dass sie ihn annehmen würden, auf 30 Prozent. Und in einer ähnlichen Umfrage, in der es direkt darum ging, tausend Kinder zu haben, die man nie kennenlernen würde, sagten nur 57 Prozent der Befragten “Ja“.
Wir empfehlen, diese Umfragen nicht allzu ernst zu nehmen. Wir hatten Spaß damit, und vielleicht haben einige Leute einfach “Nein“ gesagt, weil das Angebot von einem “zwielichtigen Superwesen“ kam. Es ist auch unklar, wie viele Menschen aus altruistischen Gründen “Ja“ gesagt haben, z. B. weil sie glauben, dass sie gute Gene haben, die die nächste Generation etwas gesünder machen würden, und sie sich altruistisch über die gesundheitlichen Vorteile freuen, anstatt sich egoistisch über die Weitergabe ihrer Gene zu freuen. Und natürlich sind Yudkowskys Twitter-Follower keine repräsentative Stichprobe der Bevölkerung. Aber es ist zumindest ein Beweis dafür, dass viele Menschen nicht einfach und unkompliziert begeistert davon sind, ihre Gene billig zu verbreiten. Die Situation ist kompliziert. Weitere Informationen darüber, wie ähnliche Komplikationen dazu führen könnten, dass KIs schiefgehen, finden Sie am Ende von Kapitel 4.