Nein. Wir wissen nicht, wo die kritischen Schwellenwerte liegen.

Es besteht eine gewisse Wahrscheinlichkeit, dass die KI-Entwicklung außer Kontrolle gerät, sobald KIs intelligent genug sind, um die gesamte KI-Forschung zu automatisieren. Theoretisch könnte dies still und leise in einem Labor geschehen, ohne dass es zuvor zu auffälligen Vorzeichen oder Warnsignalen kommt, die die Menschheit aufrütteln könnten.

Wie wir bereits besprochen haben, sind die Gehirne von Schimpansen denen des Menschen sehr ähnlich, nur dass sie etwa viermal kleiner sind. Es gibt kein zusätzliches "Sei sehr intelligent"-Modul im menschlichen Gehirn; es gibt einen fließenden Übergang zwischen Gehirnen wie denen der Schimpansen und Gehirnen wie unseren; es wäre schwer zu sagen, wo die Grenze zwischen "eine Gesellschaft dieser Wesen führt zu einem Haufen Affen" und "eine Gesellschaft dieser Wesen wird auf dem Mond spazieren gehen" liegt, wenn man nur die Gehirne betrachtet. Die Gehirne der Primaten haben eine kritische Schwelle überschritten, und von außen wäre das nicht offensichtlich gewesen. Gibt es kritische Schwellenwerte, die KI überschreiten wird? Wer weiß das schon! KI-Ingenieure können uns das nicht sagen. Sie sind nicht einmal in der Lage, die spezifischen Fähigkeiten ihrer neuen KI-Systeme vor deren Inbetriebnahme vorherzusagen.

Wenn die Menschheit genau verstehen würde, wie Intelligenz funktioniert und wie sich das Verhalten von KI mit zunehmenden Fähigkeiten verändern würde, wäre es vielleicht möglich, am Rande der Klippe zu tanzen. Aber im Moment ist die Menschheit wie jemand, der im Dunkeln und im Nebel auf eine Klippe zusprintet, mit dem Abhang in unbekannter Entfernung vor uns. Wir können nicht einfach warten, bis wir über den Rand stolpern, um zu entscheiden, dass wir anders hätten handeln sollen.

Wir werden es nie mit Sicherheit wissen. Das bedeutet, dass wir gezwungen sind, zu handeln, bevor wir sicher sind, oder zu sterben.