La nostra storia mostra come l'intelligenza artificiale sia propensa ad avere preferenze strane e non intenzionali.

Nella prima parte del libro, approfondiamo gli aspetti dell'IA che pensiamo siano completamente fraintesi e che sono pertinenti al pericolo della superintelligenza. Il capitolo 3 spiega come l'aumento dell'intelligenza vada di pari passo con IA che prendono iniziative e perseguono i propri obiettivi. Il capitolo 4 spiega come queste preferenze saranno strane e almeno un po' diverse da quelle che gli esseri umani avrebbero voluto o richiesto. Il capitolo 5 spiega come queste piccole differenze saranno sufficienti affinché le IA preferiscano un mondo senza di noi, se saranno abbastanza intelligenti da realizzarlo.

Nella Parte II del libro, cerchiamo di presentare queste idee in modo concreto, per comprendere come si applicano nella pratica. Per esempio, quando Sable all'inizio pensava ai problemi di matematica, abbiamo cercato di spiegare una serie di impulsi e motivazioni che lo animano:

Nel corso dell’addestramento, Sable ha sviluppato la tendenza a perseguire conoscenze e capacità, a sondare ogni volta i limiti dei problemi, a non sprecare mai una risorsa limitata.

Questo illustra i punti che affrontiamo nel Capitolo 3, riguardo al fatto che addestrare un'IA a essere efficace significa addestrarla a sviluppare spinte e tendenze che, dall'esterno, possono sembrare simili al "volere" umano. E nel paragrafo seguente:

Così, quando Sable dedica il filo dei suoi pensieri alla ricerca di nuove conoscenze e capacità, non lo fa esclusivamente allo scopo di individuare nuove linee di attacco ai problemi matematici. E neppure per il puro piacere di conoscere o di acquisire nuove capacità; Sable non funziona in modo così simile agli esseri umani, internamente.

Stiamo suggerendo come questi impulsi e queste tendenze costituiscano i semi di preferenze strane e non intenzionali, come discusso nel capitolo 4.

Tutta questa storia è, in un certo senso, un tentativo di dare vita alle argomentazioni che presentiamo nella Parte I del libro, gettando al contempo le basi per le argomentazioni che presenteremo nella Parte III.