Probabilmente no.

La vostra voglia di ossigeno è soddisfabile: se l'attrezzatura subacquea si rompe durante un'immersione, vi darete da fare per tornare in superficie, ma quando ce n'è abbastanza, smettete di preoccuparvi e probabilmente non vi ritrovate ad accumulare sempre più bombole di ossigeno.

La vostra voglia di ricchezza, di esperienze belle, di essere apprezzati dai vostri amici probabilmente è un po' meno facile da soddisfare. Se conosceste una facile opportunità per diventare molto più ricchi, probabilmente la cogliereste. Se conosceste una facile opportunità per migliorare di molto il mondo, speriamo che la cogliereste, invece di accontentarvi di quanto già avete in termini di gioia e comodità. Speriamo che continuereste a rendere il mondo un posto migliore per molto tempo, se continuaste a sapere di modi per farlo che vi sembrano facili, economici e divertenti dal vostro punto di vista.

E nel complesso, la somma di una preferenza soddisfabile per l'ossigeno e una preferenza insaziabile per rendere il mondo migliore... è un insieme insaziabile di preferenze.

Lo stesso vale per le IA. Se hanno una miriade di preferenze complesse, e la maggior parte di esse è soddisfabile — allora, beh, le loro preferenze nel loro insiemenon sono comunque soddisfabili.

Anche se gli obiettivi dell'IA sembrano potersi esaurire presto — come se l'IA potesse per lo più soddisfare i suoi strani e alieni obiettivi usando solo l'energia proveniente da una singola centrale nucleare — basta un solo aspetto della sua miriade di obiettivi che non si esaurisca. Basta una preferenza non perfettamente soddisfatta e preferirà usare tutte le risorse dell'universo rimanenti per perseguire quell'obiettivo.

Oppure, in alternativa: basta un solo obiettivo che l'IA non sia mai sicura di aver raggiunto. Se l'IA è incerta, preferirà che le risorse dell'universo vengano utilizzate per avvicinare sempre più la sua probabilità alla certezza, con piccoli incrementi di fiducia.

Oppure, in alternativa: basta una sola cosa che l'IA desideri difendere fino alla fine dei tempi perché l'IA preferisca che le risorse dell'universo vengano spese per aggregare materia e costruire difese per scongiurare la possibilità che alieni lontani appaiano tra milioni di anni e invadano lo spazio dell'IA.

Ci sono molti modi diversi in cui un'IA può essere insoddisfatta. E più gli obiettivi dell'IA sono confusi e complicati, più è probabile che almeno uno di essi sia difficile o impossibile da soddisfare completamente.

Anche se si potesse creare una superintelligenza concentrata in modo ossessivo su una sola cosa semplice, come dipingere di rosso una determinata auto, quell'IA potrebbe comunque trovare un modo per spendere energie extra per assicurarsi ancora di più che l'auto sia rossa e costruire difese attorno all'auto in modo che nessuno possa mai dipingerla di blu, e così via.

Lasciarci in pace è una condizione fragile. Possiamo pensarla in modo analogo a come è difficile far sì che gli umani lascino in pace gli scimpanzé.

Perché entrambe le specie di scimpanzé sono in pericolo di estinzione, anche se molti umani si preoccupano per gli scimpanzé e cercano attivamente di proteggerli?

Il problema non è che gli umani che amano gli scimpanzé stanno lottando contro quelli che li odiano e cercano di sterminarli per cattiveria.

Il problema è che ci sono altre cose che gli umani vogliono.

Gli umani vogliono ogni sorta di cose, tra cui terra e legno, e gli scimpanzé si trovano nel fuoco incrociato. Un numero sufficiente di umani è indifferente agli scimpanzé, o abbastanza indifferente rispetto alle altre loro priorità, che finiamo per distruggere il loro habitat incidentalmente.

Perché dovremmo andare a distruggere l'habitat degli scimpanzé quando abbiamo così tanto spazio per noi stessi?

Beh, perché non dobbiamo scegliere tra mantenere il territorio che già abbiamo e invadere quello degli scimpanzé. L'umanità può fare entrambe le cose contemporaneamente.

Lo stesso vale per le IA. Un'IA non deve scegliere tra le risorse della Terra e quelle di altri luoghi; può avere entrambe, come discutiamo nel libro. Dal punto di vista dell'IA, lasciarci in pace non sarebbe così costoso; ma non sarebbe nemmeno gratuito, e l'IA avrebbe bisogno di un motivo per permetterci di usare risorse che potrebbe invece usare per i propri obiettivi.

Inoltre, anche se l'IA può essere completamente soddisfatta, il risultato per gli esseri umani sarebbe probabilmente comunque piuttosto tetro. Ci sono molteplici ragioni per questo:

• Solo perché l'IA può essere completamente soddisfatta non significa che possa essere facilmente soddisfatta. Se l'IA è soddisfatta con un singolo sistema solare o una singola galassia, non significa che gli esseri umani ottengano tutto il resto.
  • L'IA potrebbe vederci come un competitore per quel sistema solare o quella galassia.
  • Anche se chiaramente non siamo interessati a competere con l'IA, questa potrebbe comunque vederci come una fonte di minacce. Ciò è particolarmente vero nella misura in cui gli umani potrebbero costruire una superintelligenza rivale che effettivamente contenda alla prima IA quelle risorse.
  • Anche se l’IA non considera gli umani una minaccia o dei rivali, l’umanità rischia comunque di morire come effetto collaterale, semplicemente trovandosi all’epicentro. L'IA in questo scenario potrebbe volere solo risorse equivalenti a pochi sistemi solari, ma gli sforzi dell'IA iniziano comunque tutti sulla Terra. Il modo più diretto per acquisire quei sistemi solari sarà estrarre le risorse della Terra, rendendola inabitabile. L'IA in questo scenario potrebbe raggiungere pienamente i suoi obiettivi senza uccidere l'umanità, ma se l'IA non si preoccupa affatto dell'umanità, allora non si preoccuperà necessariamente di farlo.
• Se un'IA soddisfabile vuole davvero lasciar vivere l'umanità, è comunque improbabile che questa sia una buona notizia per l'umanità, per le ragioni discusse in "L'IA non ci troverà affascinanti o di importanza storica?" e "Le IA non si preoccuperanno almeno un po' degli esseri umani?" (Le prospettive appaiono ugualmente cupe se un'IA non soddisfabile volesse lasciar vivere l'umanità.)

Per approfondire questo argomento, si consultino le discussioni dettagliate sulla soddisfabilità (nelle risorse online di questo capitolo, Capitolo 5) e sul rendere le IA robustamente pigre (nella risorsa online del Capitolo 3).