Die Vorliebe der Menschen für den Erhalt der Umwelt scheint ein weiterer seltsamer, zufälliger Antrieb zu sein.

Eine Hoffnung, von der wir gehört haben, ist, dass KI den Menschen in ähnlicher Weise erhalten könnte, wie Menschen versuchen, die Natur zu erhalten. Naturschützer kämpfen dafür, dass Arten nicht aussterben. Da KI intelligenter und fähiger ist, sollte es ihr leichtfallen, den Menschen zu schützen, vorausgesetzt, KI möchte den Menschen erhalten.

Wir gehen davon aus, dass dies scheitern wird, vor allem weil wir erwarten, dass die KI am Ende ihre eigenen seltsamen, komplizierten Wünsche haben wird und keine erkennbar menschenähnlichen Wünsche. Weitere Informationen zu diesem Punkt finden Sie in Kapitel 4 (und einigen der damit verbundenen ausführlichen Diskussionen). Einige frühe empirische Belege zu diesem Punkt finden Sie in der Diskussion über KI-Psychosen.

Zweitens glauben wir, dass selbst in dem unwahrscheinlichen Fall, dass eine KI irgendwie ein menschenähnliches Verlangen nach der "Erhaltung" der Welt entwickelt, in die sie gekommen ist, dies für uns nicht sehr gut ausgehen würde. Wir glauben, dass diese Art der Analogieschlussfolgerung – "Menschen erhalten die Umwelt, also werden KI uns vielleicht erhalten!" – eine Art Wunschdenken ist.^*

Nehmen wir einmal an, dass eine KI irgendwie einen menschenähnlichen Drang entwickelt, ihre natürliche Umwelt zu schützen. Um herauszufinden, was daraus folgen würde, können wir zunächst den tatsächlichen Drang des Menschen betrachten, die Natur zu schützen.

Leider sieht dieser Drang bestenfalls lückenhaft aus. Abgesehen davon, dass der ökologische Schutz oft den Kürzeren zieht, wenn Menschen zwischen ökologischem Schutz und einem anderen Ziel wählen müssen. Vielleicht ist das nur ein Artefakt der technologischen Grenzen der Menschheit. Vielleicht könnten wir mit einer wunderbaren Zukunftstechnologie beides haben.

Nein, die "Uneinheitlichkeit" unseres Erhaltungsdrangs, die für die vorliegende Situation relevant ist, besteht darin, dass wir, wenn es um den ökologischen Erhalt geht, lieber die Teile der Ökologie erhalten, die uns am interessantesten oder schönsten oder anderweitig wertvoll erscheinen, entsprechend all unseren anderen Trieben.

Die Menschen setzen sich vehement für den Schutz niedlicher Pandas ein, während unattraktive Arten wie die Riesen-Ohrwurm und der Magenbrütende Frosch in Vergessenheit geraten, bis sie aussterben. Es gibt sogar einige Arten, die wir lieber ausrotten würden, wie zum Beispiel Malaria übertragende Mücken, die jedes Jahr eine halbe Million Kinder töten.

Die meisten Menschen haben keinen rein konservativen Antrieb. Unser konservativer Antrieb ist von all unseren anderen Werten geprägt.

Um dies zu verdeutlichen, denken Sie an Juwelenwespen, Schraubenwurmfliegen, Dasselfliegen und andere ähnliche Parasiten, die ihre Eier in lebende Beute legen. Die Larven fressen sich aus dem Wirt heraus und verursachen dabei extreme Schmerzen. Wäre die Welt nach den Wertvorstellungen der meisten Menschen wirklich ein besserer Ort, wenn wir dieses "Naturwunder" genau so erhalten würden, wie es ist? Könnten wir im Rahmen der technologischen Möglichkeiten diese Parasiten nicht zumindest genetisch so verändern, dass sie hier und da ein wenig Betäubung bewirken? Wäre es wirklich besser, diese Insekten nicht so zu verändern, dass sie ihre Eier stattdessen in Pflanzen legen?

Wenn man über die Aspekte hinausblickt, die Kindern vermittelt werden, ist die Natur voller Schrecken. Es scheint nicht offensichtlich, dass unsere Nachkommen beschließen würden, all diese Schrecken weiterbestehen zu lassen, wenn die Menschen eine gute Zukunft haben sollen. Es gibt bereits Menschen, die ihre Sorge um das Wohlergehen wildlebender Tiere zum Ausdruck gebracht haben.

Unsere Präferenz für den Erhalt ist nicht rein, nicht einfach, nicht eindeutig. Sie beinhaltet interne Konflikte und Spannungen, die mit all unseren anderen Werten und Trieben verbunden sind.

Wir wissen nicht, wie sich der Erhaltungsinstinkt der Menschheit an den Grenzen der technologischen Reife auswirken würde. Der Punkt ist: Selbst wenn eine KI einen gewissen Drang zur ökologischen Erhaltung entwickeln würde, bedeutet das nicht, dass die Menschheit ein Happy End bekommt. Denn jeder Erhaltungsdrang, der es in die KI schafft, ist wahrscheinlich ebenfalls unrein, komplex und mit all ihren anderen Werten und Trieben vermischt.

Vielleicht sind, so wie bestimmte Verhaltensweisen von Tieren nach den Maßstäben der Menschheit abscheulich sind, bestimmte psychologische Zustände des Menschen nach den Maßstäben der KI abscheulich. So wie wir die Schraubenwurmfliegen so verändern würden, dass sie keine qualvollen Tunnel mehr durch lebendes Fleisch bohren, würden KI-Systeme vielleicht eine neue Menschengattung erschaffen, der Musik oder Einsamkeit herauseditiert worden sind. Oder vielleicht würden KI-Systeme andere, kompliziertere Veränderungen an der Menschheit vornehmen, entsprechend komplexen Vorlieben, die wir einfach nicht vorhersagen können.

Um eine KI zu entwickeln, die den Menschen tatsächlich ein erfülltes Leben ermöglicht, müssten wir wahrscheinlich eine KI entwickeln, die sich genau darum kümmert. Wir müssten herausfinden, wie wir die KI dazu bringen können, sich zumindest ein wenig um uns zu kümmern, und das ist nicht umsonst zu haben.