Le persone felici, sane e libere non sono la soluzione più efficiente a quasi nessun problema.

Per una superintelligenza, quasi nessun problema trae vantaggio dall'includere gli esseri umani nel mix.

Se sta costruendo una centrale elettrica o progettando un esperimento, gli esseri umani la rallenterebbero soltanto.

Abbiamo già visto che questo inizia a essere vero in campi specifici come gli scacchi. Quando le IA collaborano con gli esseri umani, giocano meglio di un essere umano da solo, ma peggio di un'IA da sola. Quando i medici uniscono le loro conoscenze con l'intelligenza artificiale per diagnosticare i pazienti, spesso ottengono risultati peggiori rispetto a quando l'intelligenza artificiale opera da sola.

Alcuni sostengono che la diversità di prospettive sia naturalmente utile e che quindi l'input umano sarà prezioso in molti campi. Ma anche se assumiamo che questo sia vero per le superintelligenze, gli esseri umani non sono il modo migliore possibile per produrre consigli diversificati. Una superintelligenza potrebbe fare di meglio progettando un'ampia gamma di menti IA, che potrebbero essere molto più diverse degli esseri umani (e molto più efficienti dal punto di vista energetico).

Gli esseri umani sono utili per molte cose, ma non sono la soluzione migliore per la maggior parte di esse. L'idea che l'IA non possa mai trovare un'opzione migliore sembra derivare da una mancanza di immaginazione, oltre che forse da un po' di illusioni.

Un problema comune che vediamo è che le persone non riflettono sulle cose dal punto di vista dell'IA.

Non si chiedono: "Cosa vuole questa cosa e come può ottenerla in modo economico ed efficiente?", scoprendo poi che i risultati desiderabili per gli esseri umani sono proprio il modo migliore per l'IA di ottenere ciò che vuole.

Invece, le persone partono da un risultato piacevole (come un mondo in cui le IA ci lascino vivere) e poi inventano storie a posteriori sul perché anche un'IA potrebbe volere quei risultati.

Questo tende a creare un falso senso di ottimismo, perché si mette tutta la propria creatività ed energia mentale nel creare storie in cui l'IA fa esattamente ciò che gli esseri umani vogliono, senza dedicare alcuna creatività, energia o attenzione a considerare il numero enormemente più vasto di scenari in cui l'IA fa invece una delle altre milioni di cose possibili.

Ci sono molti più scenari in cui l'IA fa letteralmente qualsiasi altra cosa rispetto a quelli in cui costruisce una fiorente civiltà umana. Ci sono molte più ragioni che spingono l'IA a non preservare l'umanità rispetto a quelle che la spingono a preservarla. Affinché un'IA si preoccupi di lasciar vivere l'umanità, dovremmo essere il modo migliore per soddisfare qualche sua preferenza. E, realisticamente, per quasi tutte le preferenze che si possono immaginare, non lo siamo.

Per saperne di più su questi argomenti, si veda la discussione approfondita qui sotto.