Se l'IA darà valore al "fascino", probabilmente avrà opzioni migliori.

La storia qui è simile a quella dell'amore filiale:

• Di default, una superintelligenza probabilmente non darebbe valore al "fascino" o all'"essere interessante". Le IA che giocano a scacchi non vincono provando emozioni come la "dedizione" o la "voglia di vincere". Queste emozioni sono importanti nei giocatori di scacchi umani, ma le IA possono svolgere lo stesso lavoro in modi diversi. Allo stesso modo, una superintelligenza probabilmente svolgerebbe il lavoro utile di conoscere il mondo, testare ipotesi, ecc., senza usare la "curiosità" o il "fascino" per farlo.

  Un'IA non sarebbe necessariamente "fredda e logica", ma se avesse il proprio groviglio disordinato di impulsi e istinti, questi probabilmente apparirebbero radicalmente diversi dal groviglio umano.

• Anche se l'IA finisse per avere qualcosa di simile a un impulso verso ciò che è "interessante", e anche se gli esseri umani fossero interessanti per l'IA in qualche senso, ci sarebbero inevitabilmente modi di usare la nostra materia ed energia che sarebbero di gran lunga più "interessanti".

  Un'IA superintelligente potrebbe costruire altre menti per studiarle o interagire con loro. Ma per quasi ogni particolare configurazione di valori, le menti più affascinanti possibili da studiare non sarebbero gli esseri umani. Per maggiori informazioni su questo, si veda "Gli esseri umani non sono quasi mai la soluzione più efficiente".

• Se l'IA considerasse qualcosa di anche solo vagamente simile agli esseri umani come la cosa più interessante o affascinante possibile, il risultato sarebbe probabilmente orribile. Si veda la discussione nel Capitolo 4.

Non è letteralmente impossibile che una superintelligenza dia valore a tutto ciò che serve agli esseri umani per prosperare, e che lo faccia nella misura giusta. Ma c'è uno spazio enorme di possibilità al di fuori di questa. Gli esseri umani di solito non pensano al resto dello spazio delle possibilità, perché normalmente non ne abbiamo motivo, perché normalmente non interagiamo con ottimizzatori veramente alieni che ottimizzano verso fini strani.^*

Non abbiamo mai incontrato nulla di simile all'intelligenza artificiale prima d'ora, e molte intuizioni normali su come si comportano le persone semplicemente non si applicano alle superintelligenze.

Se l'IA ci considerasse come dei reperti storici, sarebbe comunque terribile.

È molto improbabile che l'IA si preoccupi specificamente di preservare la sua storia, e specificamente di mantenere in vita gli esseri umani a tal fine. Ma anche se l'IA si preoccupasse di preservare la sua storia per un motivo o per l'altro, ciò non significa che ci manterrebbe in vita e in salute.

Forse conserverebbe i nostri cervelli nell'ambra (o registrerebbe come erano disposti i nostri atomi in qualche file digitale), e ci terrebbe come testimonianza di com'era un tempo la Terra. Non ci sembra un grande risultato.

Ci aspettiamo per lo più che la superintelligenza artificiale ci uccida semplicemente — ma solo per lo più. Non possiamo escludere che l'IA conservi registrazioni di noi per un motivo o per l'altro, e ci sono alcuni scenari esotici in cui emulazioni di esseri umani vengono eseguite di tanto in tanto in un ambiente controllato.^† Questi finali non sono lieti, per lo più.