Sembra improbabile e non particolarmente rilevante.

I cervelli e i corpi umani sono fatti di parti che possiamo studiare e arrivare a comprendere. C'è molto che non capiamo del cervello, ma questo non significa che le parti che non capiamo funzionino per magia e che gli umani non potrebbero mai costruire qualcosa di simile. Significa solo che i cervelli sono macchine enormemente complesse. Il cervello umano ha centinaia di migliaia di miliardi di sinapsi e abbiamo ancora molta strada da fare per comprendere tutti i più importanti principi di alto livello in atto.

Anche l'intelligenza è fatta di pezzi: algoritmi e calcoli individuali che il nostro cervello esegue naturalmente, anche se non abbiamo una comprensione scientifica di come funziona il nostro cervello.

Anche se ci fosse qualche aspetto del ragionamento biologico molto difficile da implementare nelle macchine, non ne conseguirebbe che l'IA non supererà mai l'umanità. Le IA potrebbero semplicemente fare lo stesso tipo di lavoro in modo diverso, come quando l'IA Deep Blue ha trovato le mosse vincenti negli scacchi in modo molto diverso da Garry Kasparov.^* Quello che conta non è se le macchine possiedono tutte le caratteristiche uniche degli esseri umani; quello che conta è se le macchine diventano capaci di prevedere e dirigere il mondo.

I capitoli che seguono aiuteranno a fare più luce su questo punto. Nel Capitolo 2 vedremo come le IA moderne vengono cresciute piuttosto che costruite, e come il processo di crescita tenderà a rendere le IA molto potenti. Nel Capitolo 3 vedremo poi come i tentativi di rendere le IA sempre più potenti tenderanno a renderle sempre più orientate verso il raggiungimento di obiettivi difficili. E nel Capitolo 4 vedremo come questi obiettivi difficilmente saranno quelli che gli sviluppatori intendevano o quelli che gli utenti hanno richiesto. Tutto questo è sufficiente perché le IA portino il mondo alla rovina, che si pensi o meno che le IA abbiano una qualche scintilla vitale, o coscienza, o qualsiasi altra cosa si possa immaginare renda speciali gli esseri umani.

Si veda anche, nelle risorse online a seguire:

• Capitolo 2: "L'IA non è 'solo matematica'?" e "Le IA non saranno inevitabilmente fredde e logiche, o non saranno comunque prive di una qualche scintilla fondamentale?"
• Capitolo 3: "Antropomorfismo e Meccanomorfismo"
• Capitolo 5: "Efficacia, Coscienza e Benessere dell'IA"