Wenn man nur ein Beispiel dafür hat, wie etwas funktioniert, kann man sich leicht vorstellen, dass es nur so funktionieren kann.

Wenn man Vögel gesehen hat, aber keine Flugzeuge, könnte man sich vorstellen, dass alle Fluggeräte mit den Flügeln schlagen müssen.

Wenn man menschliche Arme gesehen hat, aber keine Roboterarme, könnte man erwarten, dass Roboterarme bluten, wenn man sie schneidet.

Wenn Sie Gehirne gesehen haben, aber keine Computer, könnten Sie sich vorstellen, dass alle Rechenvorgänge ähnliche Eigenschaften wie ein Gehirn haben müssen, das viele langsame Neuronen auf außergewöhnlich parallele Weise und mit relativ geringem Stromverbrauch betreibt.

Sie sehen vielleicht, dass Neuronen nach einem Impuls ermüden und sich durch den Transfer von Millionen von Kaliumionen durch die Zellmembran zurücksetzen müssen, ein Vorgang, der etwa eine Millisekunde dauert. Daraus könnten Sie implizit schließen, dass jedes kleine Rechenelement wahrscheinlich für eine Millisekunde ermüdet (und vielleicht argumentieren, dass die Evolution bereits Neuronen entwickelt hätte, die sich in weniger als einer Millisekunde zurücksetzen könnten, wenn dies möglich wäre).

Wenn Sie jedoch so argumentieren, werden Sie von Transistoren schockiert sein, die mit einer Geschwindigkeit von 800 GHz arbeiten können, also etwa achthundert Millionen Mal schneller sind.

Wenn man sich die Details der Transistoren genauer ansieht, erkennt man, dass der biologische Vergleich aus vielerlei Gründen nicht sehr aussagekräftig ist. Neuronen müssen nicht nur feuern, sondern auch Zellen sein, die den Feuermechanismus aus zellulären Organellen aufbauen. Sie sind groß und werden durch Nährstoffe aus dem Blut versorgt. Transistoren können nur wenige Atome breit sein und werden mit Strom betrieben. Wenn man einige Details kennt, erscheint es etwas lächerlich, sich vorzustellen, dass sich die potenzielle Feuerungsgeschwindigkeit eines Transistors aus der Feuerungsgeschwindigkeit eines Neurons ableiten lässt.

Wenn man die Details darüber lernt, wie Flugzeuge fliegen (mithilfe von Auftrieb und Geschwindigkeit), sieht man, dass die Details die meisten Fakten über Vögel (wie leichte Knochen und flatternde Flügel) irrelevant machen. Wenn man die Details darüber lernt, wie Roboterarme gebaut sind (mit Stahl, Pneumatik und Elektrizität), sieht man, dass die Details die meisten Fakten über Arme (wie Blut, Muskeln und Knochen) irrelevant machen. Wenn man die Details darüber lernt, wie Transistoren ausgelöst werden (mit Elektrizität und nur wenigen Atomen), sieht man, dass die Details die meisten Fakten über Neuronen irrelevant machen.^*

Wenn man die Details der Funktionsweise einer KI nicht kennt, kann man sich leicht vorstellen, dass sie viele Aspekte biologischer Gehirne besitzt, dass sie so funktioniert wie das eigene Gehirn. Aber wenn man die Details kennen würde, würden viele dieser Schlussfolgerungen lächerlich erscheinen. Es wäre so, als würde man erwarten, dass ein Roboterarm blutet, wenn er geschnitten wird. Die KI würde sich als völlig anders funktionierend herausstellen.

Das ist jedoch schwer zu erkennen, wenn man nur sehr wenig über die Funktionsweise moderner KI weiß. In Kapitel 2 beschreiben wir den Entstehungsprozess moderner KI und diskutieren, warum niemand weiß, wie sie im Inneren funktioniert. Das erklärt, warum Menschen so leicht den Fehler machen, zu erwarten, dass sie sich wie andere Menschen oder Technologien verhalten, mit denen sie Erfahrung haben, anstatt zu erkennen, wie seltsam sie bereits sind und wie seltsam sie mit fortschreitender Technologie noch werden.