Es hilft nicht viel, wenn wir keine davon dazu bringen können, sich um gute Dinge zu kümmern.

Wie wir in Kapitel 4 festgestellt haben, gibt es zahlreiche Möglichkeiten, wie KI dazu kommen kann, sich um seltsame Ziele zu kümmern, die eigentlich niemand wirklich wollte. Es spielt keine Rolle, ob die Menschheit tausend KI entwickelt, wenn diese tausend KI sich alle um leicht unterschiedliche seltsame Ziele kümmern.

Damit eine Welt mit vielfältigen KIs dauerhaft glückliche, gesunde und freie Menschen beherbergen kann, müssen zumindest einige dieser KIs ausdrücklich daran interessiert sein, dass florierende Menschen erhalten bleiben. Nicht nur in dem Sinne, dass sie uns versichern, dass ihnen das wichtig ist, wenn sie jung sind, sondern in dem Sinne, dass dies tatsächlich die effizienteste Antwort auf alle Fragen ist, auf die ihre Handlungen (oder die Handlungen ihrer Nachkommen) eine Antwort sind, wie in Kapitel 5 erläutert.

Weitere Hintergrundinformationen zu diesem Problem finden Sie unter:

• Kapitel 4: Warum sollte eine KI etwas anderes anstreben als das, worauf sie trainiert wurde? Und Reflexion und Selbstmodifikation machen alles noch schwieriger
• Kapitel 5: Wird KI uns als nützlich erachten, um uns zu behalten?, Brauchen KIs nicht Rechtsstaatlichkeit?, Werden KIs sich nicht zumindest ein wenig um Menschen kümmern? und Menschen sind fast nie die effizienteste Lösung
• Teil II: Warum haben Sie eine Geschichte erzählt, in der nur eine KI so intelligent wie Sable vorkommt?

Wenn wir wüssten, wie man eine von zehn KI gut macht, könnten wir vielleicht ein Zehntel des Universums bekommen, indem wir sehr viele verschiedene KI erstellen und hoffen, dass die guten für uns einen Deal aushandeln.

Aber wie wir in den Kapiteln 2 bis 4 dargelegt haben, ist es in dem modernen System, in dem KI "gezüchtet" wird, äußerst unwahrscheinlich, dass man eine KI erhält, die sich in genau dem richtigen Maße um Menschen kümmert. Die Menschheit ist noch lange nicht in der Lage, ein so außergewöhnlich enges Ziel in 10 Prozent der Fälle zu treffen. Mehr KI zu schaffen hilft nicht, wenn das Problem darin besteht, dass es eine komplizierte Struktur gibt, die wir noch lange nicht in die Antriebe der KI einbinden können.