Um Sable eine Herausforderung zu bieten.

Wenn Galvanic, die Entwickler von Sable, sich ohne jegliche Vorsichtsmaßnahmen zur Kontrolle (wie KI-Aufsichtsbehörden und Honeypots) in die Entwicklung einer Superintelligenz gestürzt hätten, könnten die Leser den Eindruck gewinnen, dass die KI nur deshalb erfolgreich war, weil wir gegenüber KI-Unternehmen zynisch waren.

Indem wir Galvanic als eher paranoid darstellen (und dabei dennoch versuchen, unsere Darstellung von Galvanic realistisch zu halten), haben wir mehr Möglichkeiten zu zeigen, wie ein intelligenter Agent ein Netz von Beschränkungen umgehen kann.

Wir glauben, dass die rücksichtslosesten KI-Unternehmen aus Gründen, auf die wir in Kapitel 11 eingehen werden, deutlich rücksichtsloser sind als Galvanic. Und hier kommt es auf die rücksichtslosesten Unternehmen an, nicht auf die verantwortungsbewusstesten. Wenn drei verantwortungsbewusste Unternehmen den Bau einer maschinellen Superintelligenz vermeiden, weil dies zu gefährlich wäre, aber ein viertes, unverantwortliches Unternehmen vorprescht, dann wird die Superintelligenz in diesem vierten Labor gebaut.

Heute argumentieren Führungskräfte in den Labors: "Besser ich als sie!" Heute üben Führungskräfte nur so viel Vorsicht aus, wie sie können, ohne dabei überhaupt langsamer zu werden, was unserer Meinung nach zu weniger Vorsicht führt, als Galvanic gegenüber Sable an den Tag legt.

Notes