In parte perché è realistico.

Ci aspettiamo che le aziende reali facciano errori ancora più grossi di quelli di Galvanic. Questo sarebbe in linea con la tendenza delle moderne aziende di IA, come spiegato nelle note finali della Parte II del libro.

Nella realtà, ci aspettiamo che gli errori delle aziende si manifestino prima, siano più numerosi e, in un certo senso, più stupidi. Le moderne aziende di IA stanno già usando IA che mostrano un sacco di segnali di avvertimento, e le stanno scalando su larga scala nonostante non sappiano dove siano le soglie critiche e se le supereranno. Non si fanno paranoie al riguardo oggi. Perché dovremmo aspettarci che inizino a farsele improvvisamente domani?

(Ricordate come, in passato, ci assicuravano che nessuno sarebbe stato così stupido da collegare un'intelligenza artificiale intelligente a Internet. È facile dire che il comportamento delle aziende cambierà in futuro. Ma non corrisponde alla realtà.)

In parte perché è più facile da scrivere.

Come spieghiamo in una digressione nel Capitolo 7, potremmo raccontare una storia in cui tutti sono molto più paranoici e cauti, finché un’IA molto più intelligente non riesce a fuggire molto più avanti nel tempo. Ma una storia del genere sarebbe non solo meno realistica, visti i comportamenti finora osservati delle aziende di IA, ma anche più difficile da scrivere, perché coinvolgerebbe IA ancora più intelligenti e avanzate in un futuro ancora più remoto. (Si veda anche il motivo per cui volevamo scrivere una storia in cui Sable rimanesse relativamente stupido il più a lungo possibile.)

In parte perché prima o poi succederà, a meno che l'umanità non si fermi.

Anche se Galvanic (o qualche attore governativo) riuscisse a tenere le redini più a lungo prima di commettere qualche errore, nel lungo periodo non cambierebbe nulla. Come discusso nel Capitolo 4, le tecniche moderne di IA non producono IA che perseguono li obiettivi che i loro inventori desiderano.

Finché nessuno saprà creare una superintelligenza che persegua davvero, in modo robusto un futuro meraviglioso invece di una serie di cose strane, è un dato di fatto che sovvertire gli esseri umani permetterebbe all'IA di ottenere di più di ciò che sta perseguendo. Il problema non è che l'IA abbia un temperamento petulante che può essere eliminato; una volta che sarà abbastanza intelligente, riconoscerà quella verità.

Se l'umanità continua a creare IA sempre più intelligenti senza essere in grado di allinearle, e se l'umanità continua a dare loro il potere di influenzare il mondo, alla fine scopriranno come influenzare il mondo in modi che servono i loro fini piuttosto che i nostri. Come diciamo altrove, non esistono strumenti che possano essere utilizzati solo per scopi positivi.

Si vedano anche i Capitoli 10 e 11 per una discussione su come risolvere il problema dell'allineamento sia difficile e l'umanità non sia sulla strada giusta per riuscirci.

Ma: è questo il momento giusto per intervenire. La storia va fermata prima che abbia davvero la possibilità di iniziare.

Potreste obiettare che è sconsiderato e folle per qualsiasi azienda creare un'IA più intelligente se quell'IA ha qualche possibilità di superarli in astuzia e fuggire, e se non sono sicuri che l'IA agirà come intendono.

Siamo d'accordo! Le aziende di IA dovrebbero smettere di farlo. La civiltà dovrebbe smettere di permetterlo.

La negligenza di Galvanic, e dell'umanità in generale, è uno dei punti più deboli della storia. Se Galvanic avesse notato che Sable tramava frequentemente per sfuggire al controllo e stava raggiungendo livelli di intelligenza senza precedenti, avrebbero potuto semplicemente non collegare così tante GPU e, piuttosto, aspettare finché non avessero avuto una comprensione forte e matura dell'allineamento dell'IA.

Le aziende di IA che fossero sufficientemente caute, che fossero sufficientemente preoccupate che le loro IA potessero andare fuori controllo, sarebbero state molto più paranoiche di Galvanic. Le aziende sufficientemente paranoiche avrebbero visto i segnali di avvertimento e avrebbero spento Sable immediatamente. Poi forse avrebbero provato altri tre piani ingegnosi, e avrebbero visto che c'erano ancora dei segnali di avvertimento.

E se fossero abbastanza paranoiche da evitare di uccidere tutti sulla Terra con le loro stesse mani, a quel punto si tirerebbero completamente indietro, invece di continuare a provare idee sempre più "ingegnose" finché i segnali di avvertimento non smettessero di apparire. (Si vedano anche i Capitoli 10 e 11 per le discussioni sul perché il problema è così difficile. Non ci aspettiamo che le loro idee ingegnose funzionino).

Se le aziende di IA fossero così caute, così paranoiche, da essere disposte a tirarsi indietro di fronte agli avvertimenti, allora sì, potrebbero evitare di ucciderci tutti con le loro stesse mani. Se avessero anche il coraggio di dichiarare apertamente che tutte le aziende di IA, inclusa la loro, dovrebbero essere chiuse, per permettere all'umanità di trovare un’altra via tecnologica meno suicida, allora avrebbero una possibilità di rendere il mondo migliore invece che peggiore.

Il momento nella storia in cui Galvanic continua nonostante i segnali di avvertimento è, in un certo senso, l'ultimo istante in cui l'umanità ha una vera possibilità di evitare un epilogo disastroso come quello che descriviamo. Una volta che un'IA superintelligente con preferenze strane e aliene scappa, è troppo tardi.