Er ist wichtig, um zu verstehen, wie Ingenieure moderne KI gestalten können und wie nicht.

Wenn Ingenieure KI entwickeln, die sie nicht verstehen, haben sie weitaus weniger Möglichkeiten, das Verhalten dieser KI zu beeinflussen. Mangelndes Verständnis schränkt die Technik ein.

Das detaillierte Katastrophenszenario, das wir im weiteren Verlauf des Buches zeichnen, ergibt sich daraus, dass Menschen von ihrer KI verlangen, etwas Neues zu können, die Lösung, die sie erhalten, jedoch nicht von einem Ingenieur bewusst gewählt wurde. Es handelt sich vielmehr um eine weitgehend funktionierende Antwort, auf die ein einfacher Optimierer durch Ausprobieren von hundert Milliarden Zahlen gestoßen ist.

Es ist wichtig zu verstehen, über welche Fachkenntnisse KI-Experten verfügen und über welche nicht.

Menschen, die den Aufbau einer Superintelligenz vorantreiben wollen, rekrutieren manchmal jemanden mit vage relevanten Qualifikationen, der im Fernsehen sagt: "Natürlich versteht die moderne Wissenschaft, was in einer KI vor sich geht! Schließlich haben moderne Wissenschaftler sie gebaut."^*

Wenn man sie darauf anspricht, können sich die Experten verteidigen, indem sie darauf hinweisen, dass all dies in gewisser Weise wahr ist. Schließlich schreiben KI-Forscher ganz normalen Code, der leicht zu verstehen ist, und dieser Code wird auf Umwegen zur Erstellung von KIs verwendet.

Aber der Teil, der aus lesbarem und verständlichem Code besteht, ist nicht die KI selbst, sondern vielmehr die automatisierte Maschinerie, die Billionen von Zahlen billionenfach optimiert, also das Framework, mit dem die KI entwickelt wird. Und dies ist ein entscheidender Unterschied, um zu verstehen, was Wissenschaftler über moderne KIs wissen und was nicht.

KI-Experten verbringen ihre Zeit damit, Teile des Systems experimentell anzupassen, beispielsweise den Code der Maschinerie, die die KI entwickelt. Aus diesen Experimenten und ähnlichen Experimenten ihrer Kollegen lernen sie viele subtile Tricks, die dazu beitragen, leistungsfähigere KIs zu entwickeln.

Möglicherweise haben sie sich in den letzten sechs Monaten keine der winzigen, undurchschaubaren Zahlen angesehen, aus denen das "Gehirn" der KI besteht, aber das tut fast niemand, und KI-Ingenieure nehmen diese Tatsache als selbstverständlich hin. Wenn einer bestimmten Art von Ingenieuren gesagt wird: "Niemand versteht, was in einer KI vor sich geht", hören sie: "Niemand weiß etwas über den Zuchtprozess." Und wenn sie es so auffassen, sind sie natürlich empört.

Wir hoffen, dass das Verständnis des Gradientenabstiegs dazu beiträgt, den tatsächlichen Stand der Dinge zu klären und zu verdeutlichen, welche Art von Wissen solche Experten für sich beanspruchen. Experten mögen behaupten, viel über den Zuchtprozess zu wissen, aber über die inneren Abläufe gezüchteter KI ist nur sehr wenig bekannt.