Non è molto d'aiuto se non riusciamo a far sì che almeno una di esse si preoccupi delle cose belle.

Ci sono moltissimi modi in cui le IA possono finire per interessarsi a fini strani e bizzarri che nessuno voleva o intendeva, come discusso nel capitolo 4. Non importa se l'umanità crea un miliardo di IA, se quel miliardo di IA si interessano tutte a fini strani leggermente diversi. Non andrà bene per gli esseri umani a meno che non capiamo come creare almeno un'IA che si interessi almeno in misura decente a persone felici, sane e libere che vivono vite prospere — non solo nel senso che ci assicurano di interessarsene quando sono giovani, ma nel senso che questa è effettivamente la risposta più efficiente a qualsiasi domanda a cui le loro azioni (o le azioni dei loro discendenti) sono una risposta, come discusso nel capitolo 5.

Se sapessimo come fare in modo che una IA su dieci fosse buona, allora forse potremmo ottenere un decimo dell'universo creando un gran numero di IA diverse e sperando che quelle buone negozino per noi. Ma, come abbiamo sostenuto nei capitoli da 2 a 4, ottenere un'IA che si preoccupi delle persone nel modo giusto è estremamente improbabile, nel regime moderno in cui ci limitiamo a far crescere le IA. Non è come una possibilità su dieci; è una possibilità del tipo che-semplicemente-non-accade-a-meno-che-non-si-sappia-cosa-si-sta-facendo-abbastanza-bene-da-farla-accadere-di-proposito. L'umanità non è neanche lontanamente a quel livello. Anche generando qualche miliardo di IA non otterremmo un miliardesimo delle risorse dell'universo, se non riusciamo a far sì che almeno una di esse si preoccupi minimamente di noi.