La preferenza umana per la conservazione ecologica sembra un altro strano impulso contingente.

Una speranza che abbiamo sentito è che le IA potrebbero lasciar vivere gli esseri umani più o meno come gli esseri umani cercano di preservare la natura. I conservazionisti lottano per impedire l'estinzione delle specie. Essendo più intelligenti e più potenti, le IA dovrebbero avere facilità nel proteggere gli esseri umani — sempre che le IA vogliano lasciar vivere gli esseri umani.

Ci aspettiamo che questo fallisca principalmente perché ci aspettiamo che l'IA finisca per avere desideri propri strani e complicati, piuttosto che desideri riconoscibilmente simili a quelli umani. Per ulteriori informazioni su questo punto, si faccia riferimento al capitolo 4 (e ad alcune delle discussioniapprofondite associate). Per alcune prime prove empiriche su questo punto, si veda la discussione sulla psicosi indotta dall'IA.

In secondo luogo, anche nel caso improbabile che un'IA finisca in qualche modo per avere un desiderio simile a quello umano di "preservare" il mondo in cui è nata, non pensiamo che questo sarebbe molto positivo per noi. Pensiamo che questo tipo di ragionamento per analogia — "gli esseri umani preservano l'ambiente, quindi forse le IA preserveranno noi!" — sia una sorta di desiderio illusorio.^*

Immaginiamo che, in qualche modo, un'IA finisca per avere un impulso simile a quello umano di proteggere il suo ambiente naturale. Per capire cosa succederebbe, possiamo iniziare osservando l'effettivo impulso umano a proteggere la natura.

Purtroppo, questo impulso sembra, nel migliore dei casi, discontinuo. Tralasciando il fatto che, quando gli esseri umani devono scegliere tra la conservazione ecologica e qualche altro obiettivo, spesso la conservazione ecologica ha la peggio. Forse questo è solo un effetto collaterale dei limiti tecnologici dell'umanità. Forse, se avessimo una tecnologia futura meravigliosa, potremmo avere la botte piena e la moglie ubriaca.

No, l'aspetto "incostante" della nostra spinta alla conservazione che è rilevante per la situazione in questione è che, quando si tratta di preservare l'ambiente, preferiamo conservare le parti dell'ecologia che ci sembrano più interessanti, belle o comunque preziose, in base a tutti i nostri altri impulsi.

La gente si mobilita per proteggere i simpatici panda, mentre specie poco attraenti come la forbicina gigante e la rana gastrica languiscono nell'oscurità fino a estinguersi. Ci sono persino alcune specie che potremmo preferire eliminare, come le zanzare portatrici di malaria, che uccidono mezzo milione di bambini ogni anno.

La maggior parte delle persone non ha una motivazione "pura" per proteggere la natura. Abbiamo una motivazione che è influenzata da tutti i nostri altri valori.

Per chiarire meglio il concetto, pensiamo alle vespe gioiello, alle mosche screwworm, alle mosche botfly e altri parassiti simili, che depongono le uova all'interno delle prede viventi; le larve si nutrono dell'ospite, causandogli un dolore estremo. Secondo i valori della maggior parte delle persone, il mondo sarebbe davvero un posto migliore se preservassimo questa "meraviglia naturale" esattamente così com'è? Nei limiti della tecnologia, non potremmo almeno modificare geneticamente questi parassiti per fornire un po' di anestesia qua e là? Sarebbe davvero meglio non modificare questi insetti per far sì che depongano le loro uova nelle piante?

La natura, se si guarda oltre gli aspetti che vengono enfatizzati ai bambini, è piena di orrori. Non sembra ovvio che, se gli esseri umani avranno un futuro positivo, i nostri discendenti decideranno di lasciare che tutti questi orrori continuino. Ci sono già esseri umani che hanno dichiarato la loro preoccupazione per il benessere degli animali selvatici.

La nostra preferenza per la conservazione non è pura, non è semplice, non è lineare. Contiene conflitti interni e tensioni legati a tutti gli altri nostri valori e impulsi.

Non sappiamo come si manifesterebbe l'istinto di conservazione dell'umanità ai limiti della maturità tecnologica. Il punto è: anche se un'IA finisse per avere una certa spinta alla conservazione ecologica, ciò non significa che l'umanità avrebbe un lieto fine. Perché anche qualsiasi spinta alla conservazione che arrivi all'IA è soggetta a essere impura, complessa e confusa con tutti gli altri valori e impulsi.

Forse, proprio come, secondo le preferenze dell'umanità, alcune abitudini animali sono aberranti, secondo le preferenze dell'IA alcuni stati psicologici umani sarebbero aberranti. Proprio come noi modificheremmo le mosche carnivore in modo che smettano di scavare un tunnel agonizzante nella carne viva, forse le IA creerebbero una nuova razza di esseri umani da cui sarebbero state eliminate la musica o la solitudine. O forse le IA apporterebbero altre modifiche più complesse all'umanità, secondo preferenze complesse che semplicemente non siamo in grado di prevedere.

Per creare un'IA che permetta davvero alle persone di condurre vite fiorenti, probabilmente dovremmo crearne una che si preoccupi di questo in particolare. Dovremmo capire come fare in modo che le IA si preoccupino almeno un po' di noi, e questo non avviene automaticamente.