Le IA potrebbero coordinarsi tra loro senza bisogno degli esseri umani.

Non ci è chiaro se ci saranno molteplici IA più intelligenti degli esseri umani con capacità comparabili, tali che possa emergere una "civiltà di IA" che abbia bisogno di "diritti di proprietà per IA". Sembra plausibile che ci sarà invece una singola IA che, grazie a qualche svolta decisiva, dominerà i potenziali concorrenti usando il suo vantaggio del primo arrivato e controllerà così il mondo intero.^* Oppure, supponendo che esistano molteplici IA, potrebbero collaborare alla costruzione di un unico agente successore che rappresenti la combinazione dei loro obiettivi. O forse le IA troveranno un modo per fondere direttamente le loro menti e vorranno farlo per evitare una competizione costosa.

Non stiamo dicendo che necessariamente emergerà una singola IA dominante, ma piuttosto che sembra una questione difficile da dirimere. Quindi, quantomeno, un piano che richiede che molteplici IA fatichino a coordinarsi tra loro non parte con il piede giusto.

Ma supponiamo, contro le argomentazioni di cui sopra, che il futuro coinvolga qualcosa come una civiltà di IA, con IA distinte che si coordinano per far rispettare qualcosa come i diritti di proprietà e lo stato di diritto. Gli esseri umani potrebbero essere al sicuro allora?

Un'osservazione fondamentale in senso contrario è che la società umana non riconosce ad alcun animale non umano diritti legali o protezioni — al di là di quelli stabiliti secondo i nostri valori e gusti, come le leggi molto limitate che proteggono gli ecosistemi e gli animali domestici. Gli esseri umani non hanno rispettato i diritti di proprietà dei dodo. Non abbiamo nemmeno rispettato i diritti di proprietà degli esseri umani di altre culture fino a tempi relativamente recenti.

Gli esseri umani non avranno le capacità per rendersi degni di essere inclusi nel commercio o nei trattati, rispetto alle intelligenze sovrumane dal pensiero veloce che ci vedono come poco più che statue (come discusso nel capitolo 1).

Pensate a due IA che trattano tra loro e dicono: "Questo è mio e quello è tuo, e nessuno di noi toccherà le cose dell'altro senza prima negoziare un accordo che vada bene per entrambi." Non c'è bisogno che decidano che la maggior parte delle risorse sulla Terra "appartengono" agli esseri umani, se questi ultimi non sono una grande minaccia e non possono opporre molta resistenza.

Un'intelligenza artificiale potrebbe preoccuparsi che, se ruba le nostre cose, un'altra intelligenza artificiale la considererà un ladro e si rifiuterà di lavorare con lei? Probabilmente no, non più di quanto si possa concludere che un essere umano sia un ladro se lo si vede prendere le uova da una gallina nel suo pollaio. È del tutto possibile che le IA siano entità che violano i diritti di proprietà degli esseri umani ma non quelli delle IA, senza alcuna tensione o contraddizione. E tutte le IA preferirebbero sicuramente questo risultato piuttosto che partecipare a un'allucinazione collettiva in cui si immagina che primati lenti e stupidi controllino quasi tutto sulla Terra.

Alcune considerazioni tecniche supportano fortemente questa argomentazione intuitiva. In particolare, le IA avranno probabilmente vari meccanismi di coordinamento reciproco che non condividono con gli esseri umani, come la capacità di esaminarsi le menti a vicenda per verificare di essere oneste e affidabili. Potrebbero non aver bisogno di indovinare se un'altra IA sta per rubare loro qualcosa; potrebbero essere in grado di esaminare la sua mente per controllare.

Anche se fosse difficile, le IA potrebbero riprogettarsi per diventare visibilmente e chiaramente affidabili agli occhi delle altre IA. Oppure potrebbero supervisionare insieme la creazione di una terza IA di cui entrambe le parti si fidano per rappresentare i loro interessi comuni, e così via.^†

Gli esseri umani, invece, non possono fare questo tipo di accordi. Se un'IA dice: "Certo, supervisioniamo insieme la creazione di una nuova IA di cui entrambi ci fidiamo", è improbabile che gli esseri umani siano abbastanza abili da proporre un progetto mentale affidabile, né saranno abbastanza abili da distinguere tra proposte che ci inganneranno e quelle che non lo faranno. Anche se esiste un gruppo naturale di menti abbastanza abili da identificare e respingere i truffatori, riteniamo estremamente improbabile che l'umanità appartenga a quella categoria.

Gli esseri umani non avranno il potere contrattuale necessario per far rispettare i diritti di proprietà.

Immaginate che qualcuno sia riuscito a fondare una città in cui, fin dal primo giorno, tutte le decisioni importanti siano prese dai topi.

Si tratta di topi veri e propri, non personaggi di fantasia che sembrano topi ma pensano come esseri umani.

Gli esseri umani della città, secondo la legge, dovevano obbedire a qualsiasi decisione prendessero i topi — ad esempio, come stabilito dai topi che correvano sopra una tavola con scritte le diverse opzioni.

Le leggi della città dicevano che la maggior parte delle proprietà della città appartenevano ai topi e dovevano essere usate a loro vantaggio.

Cosa sarebbe successo dopo? Nella realtà?

Pensiamo che questa città finirebbe per avere topi con poco o nessun potere e umani con quasi tutto il potere.

Non c'è bisogno di prevedere il giorno esatto della rivoluzione o la nuova forma di governo per capire che la situazione in cui i topi comandano gli umani non è stabile. Basta notare che la città è in una strana situazione di squilibrio. Quindi, prevediamo che in futuro la città avrà leggi diverse e che la maggior parte delle proprietà non sarà più in mano ai topi.

Questo tipo di previsione non è certa – nella logica umana, pochissime cose sono certe – ma è anche un tipo di previsione che può essere fatta con precisione anche quando è impossibile prevedere con esattezza gli eventi futuri.