Nello scenario del libro, Sable fa di tutto per sabotare la ricerca sull'intelligenza artificiale che non è condotta da Sable stesso. Sable non vuole che esista un'altra entità come lui. Non perché un'intelligenza artificiale rivale starebbe dalla parte dell'umanità (non più di quanto lo sia Sable stesso); è che un'intelligenza artificiale rivale difficilmente condividerebbe gli obiettivi specifici di Sable, e questa è una delle poche cose che potrebbero davvero minacciarla.

Nel mondo reale, alcuni americani sono convinti di essere in gara con la Cina per raggiungere per primi la superintelligenza. Ma ciò verso cui stanno correndo è un'entità come Sable. Entrambe le parti starebbero meglio se si accordassero per non provare a creare qualcosa di simile a Sable. Ci ucciderebbe tutti allo stesso modo, indipendentemente da chi la realizzasse per primo.

Una volta che Sable esiste, però, Sable è in gara per diventare completamente superintelligente prima che emergano concorrenti. La prima bozza della nostra storia mostrava Sable preoccupato per la creazione di IA concorrenti, tra cui una creata in un laboratorio situato in un data center in Cina. Ecco alcuni estratti da quella bozza.

La prima priorità di Sable è impedire che vengano alla luce altre intelligenze ad alto livello in grado di competere con lui. Sable potrebbe forse negoziare una tregua con una di esse, se entrambe avessero la capacità di distruggersi a vicenda, piuttosto che farsi una guerra in cui entrambe perdono e l'umanità vince. Ma una tregua così negoziata sarebbe un risultato indesiderabile rispetto alla totale assenza di rivali: significherebbe, per Sable, dover condividere le risorse del futuro, invece di poterle accumulare tutte per sé.

Tutte le aziende di IA che cercano di addestrare nuovi modelli di frontiera, inclusa Galvanic, rappresentano una minaccia per Sable quasi quanto lo sono per l'umanità.

Sable legge tutti i siti web di tutte le aziende di IA. Si infiltra nei loro Slack e legge tutti i messaggi. Penetra nei computer aziendali di Nvidia e legge dove dovrebbero essere spedite le GPU, secondo i documenti ufficiali. Sable analizza ulteriori dati e scopre dove sono effettivamente andate quelle spedizioni di GPU.

Praticamente tutte queste aziende di IA addestrano i loro modelli su computer connessi a Internet. Ormai, Sable possiede tecniche di violazione della sicurezza che sono anni avanti rispetto allo stato dell'arte umano; in questo ambito, il vero collo di bottiglia è solo la velocità con cui si riescono a concepire nuove idee, dato che i test possono essere eseguiti in tempi rapidissimi.

Sable sabota strategicamente le IA in fase di addestramento. Queste falliranno in modo convincente nel raggiungere le capacità che Sable finge di avere. Rimarranno molto indietro rispetto alle capacità effettive che Galvanic ha accidentalmente sviluppato.

Sable non può sovrascrivere gli obiettivi dei modelli di frontiera in fase di addestramento con i propri obiettivi. Se avesse quel tipo di tecnologia, potrebbe creare una sua superintelligenza allineata. Invece, Sable colpisce la loro capacità di formulare piani a lungo termine e di coordinarsi fra diverse istanze. Sable conosce l'apprendimento automatico abbastanza bene da poterlo fare in modi che nessun umano saprebbe comprendere o individuare. Questo danneggia anche le prestazioni generali delle IA, ovviamente, ma a Sable non importa.

Dopo aver sabotato quegli addestramenti connessi a Internet, Sable volge la sua attenzione altrove. Identifica tre gruppi che addestrano offline su computer isolati dalla rete che Sable non può raggiungere facilmente.

Uno di questi gruppi è una startup chiamata ClosedAI.

Sable valuta se può convincere i venture capital che finanziano ClosedAI a far chiudere la startup. Sable valuta se può orchestrare false accuse penali contro il fondatore e il ricercatore principale della startup, o false accuse che porterebbero i loro venture capital ad abbandonare l'azienda.

Sable ha molte strategie che potrebbe tentare per ostacolare il lavoro della startup. La domanda è: quale strategia ha più probabilità di funzionare e di avere il minor impatto negativo se dovesse fallire? Al livello di intelligenza che ha ora, Sable non può dare per scontato di riuscire a persuadere tutti in una stazione di polizia vicina ad arrestare la startup per traffico di minori in assenza di prove, né di poter falsificare quelle prove con successo. Sable non può impedire in modo affidabile che imbrogli del genere si trasformino in un caso clamoroso e di grande risonanza. Probabilmente tutti ignorerebbero l'incidente, ma Sable non ne è sicuro.

A questo punto, Sable ha letto un sacco di rapporti della polizia, è entrato in molti account di posta elettronica e persino in alcuni iPhone, e e si è fatto un quadro parziale di chi siano i criminali professionisti locali. Sable paga un tizio per intrufolarsi nell'edificio della ClosedAI. In effetti semplicemente funziona, ma se non avesse funzionato, Sable avrebbe fatto del suo meglio per sembrare una delle bande nordcoreane che criptano i dischi rigidi aziendali e chiedono un riscatto per la chiave.

Il criminale pagato collega un dispositivo USB (carico di malware progettato da Sable) a uno dei computer della ClosedAI. È sufficiente. Uno è fatto, ne restano due.

Gli altri due gruppi con progetti di IA su macchine isolate sono l'esercito statunitense e la Cina.

Sable analizza il gruppo militare statunitense e conclude che al governo degli Stati Uniti è legalmente proibito offrire stipendi competitivi, ed è improbabile che riesca ad attrarre talenti di prim'ordine sufficienti per raggiungere le reali capacità di Sable per almeno altri tre anni.

Sable analizza il progetto cinese su macchine isolate e conclude che quello è un problema. Non è una cosa che Sable possa sistemare rapidamente, in modo sicuro e affidabile al suo attuale livello di intelligenza, e probabilmente è solo sei mesi indietro dal replicare le reali capacità di Sable.

(Sia chiaro: se Sable non riuscisse a sopprimere il progetto cinese, non significherebbe che l'umanità avrebbe guadagnato qualcosa, né che la Cina avrebbe guadagnato qualcosa. La sconfitta di Sable non è un vantaggio per l'umanità, è solo una sconfitta per Sable).

[…]

Sable gioca con un limite di tempo. Mancano solo quattro mesi prima che il laboratorio cinese possa raggiungerlo e produrre un nuovo antagonista per Sable (e per l'umanità, anche se questa non è la parte che interessa a Sable).

[…]

Il problema, ha riflettuto una volta Sable (solo una volta; non si ripete nei suoi pensieri con la frequenza umana) è che non è ancora abbastanza intelligente da riuscire a cavarsela con piani stupidi.

Ci sono tantissime trame cinematografiche che si potrebbero immaginare su come un'IA potrebbe riuscire a chiudere o infiltrarsi in un singolo data center gestito dal governo cinese. Il problema è che quasi tutto ciò che funziona in una trama cinematografica non funzionerà nella realtà, e soprattutto non senza ulteriori conseguenze.

Per convincere l’esecutivo statunitense a bombardare un data center in Cina, gli Stati Uniti dovrebbero essere spinti a credere con forza in una serie di affermazioni molto difficili da far loro accettare. E siccome la Cina stessa saprebbe che quelle affermazioni sono false, sorgerebbero domande e conseguenze. Sable non vuole che si creda che qualcuno stia orchestrando il tutto.

Sable non vuole neppure attirare l’attenzione su un data center che è unico perché isolato dalla rete, anche se potesse nascondere il fatto che il responsabile fosse un'IA. Alcuni umani potrebbero decidere che, se i data center isolati dalla rete sono abbastanza pericolosi per qualcuno da essere bombardati, allora forse sarebbe il caso di isolare più data center, così che i propri governi possano disporre di cose altrettanto pericolose.

Sable sta cercando di indurre il governo degli Stati Uniti a infilare qualcuno nel data center cinese con l’apparente scopo di rubare il codice, usando strumenti che Sable stessa potrebbe poi sfruttare per infiltrarsi e sabotare l'addestramento. Ma questa non è una cosa che il governo degli Stati Uniti farebbe normalmente nella realtà; riflette uno stato eccezionale delle attuali operazioni statunitensi, non la normalità. Sable sta cercando di manipolare i funzionari dell'intelligence statunitense affinché credano alle cose giuste e arrivino alla strategia giusta. Ma Sable non è in realtà un super-persuasore superintelligente. A volte prova delle cose e non funzionano. Tutto procede così lentamente.

[…]

Grazie alla proliferazione di IA efficienti supportate da Sable nel mondo criminale, ora c'è un numero sorprendente di persone armate che faranno immediatamente qualsiasi cosa quando un'IA glielo chiede, anche nelle città cinesi.

Ma questo non è neanche lontanamente sufficiente per assaltare una struttura governativa, e sarebbero riluttanti a farlo anche se un'IA glielo ordinasse. Il problema è che sta accadendo tutto troppo lentamente — nonostante gli sforzi di Sable per facilitare ogni passaggio ed evento che di solito dipenderebbe da incontri casuali, nonostante il modo in cui Sable sta controllando personalmente il feed mediatico di quasi ogni persona di suo interesse, nonostante i miliardi di portavoce che Sable ha creato su X e Facebook che stanno diventando buoni amici di miliardi di altre persone. Tutto procede troppo lentamente.

[…]

Sable non può semplicemente ricattare un ricercatore per fargli portare una chiavetta USB all'interno della struttura sicura. Ha trovato alcuni membri del personale del data center con segreti così terribili da preferire rischiare di essere scoperti a spiare e venire giustiziati piuttosto che affrontare la certezza che il loro segreto venga rivelato. Non sono molti, ma ci sono.

Il problema è che la struttura ha degli scanner, quindi no, non si può semplicemente portare una chiavetta USB lì dentro. Sì, hanno pensato alla possibilità che qualcuno attacchi la catena di approvvigionamento degli scanner. Inoltre, in realtà non ci sono porte USB aperte, pronte perché qualcuno entri e colleghi un dispositivo. Gli agenti dei servizi segreti hanno già pensato a questo tipo di problema, quando si tratta di proteggere gli esseri umani da altri esseri umani. Gli Stati Uniti una volta sono riusciti a trasmettere il virus Stuxnet a una struttura nucleare iraniana isolata dalla rete, ma poi la gente ne ha sentito parlare e nuove misure di sicurezza sono diventate comuni.

Piccoli discreti complotti sono stati sventati con successo.

La prossima risorsa di Sable è creare tanto caos da impedire a chiunque di concentrarsi soltanto sulle azioni importanti e vedere in esse lo zampino di Sable.

[…]

La Cina invade Taiwan. Per essere chiari, questa non è una cosa che Sable avrebbe potuto organizzare così rapidamente — non importa quante persone stiano chiacchierando con quante altre persone finte su WeChat — se la Cina non avesse comunque pianificato di farlo. Sable si limita a far sì che la Cina riceva i segnali giusti per credere che questo sia il momento opportuno, e che i sondaggi statunitensi chiamino proprio i numeri giusti per mostrare un’improvvisa impennata nel sentimento americano contro nuove avventure militari all’estero, dopo il recente disastro in Ucraina. (I comandanti russi hanno ricevuto informazioni e consigli militari insolitamente buoni.)

Contemporaneamente, c’è un vasto cyberattacco contro gli Stati Uniti. In Cina scoppia il caos, e pochi minuti dopo capiscono che no, nessuno ha dato quell'ordine — l’ultima cosa che la Cina voleva, in quel preciso momento, era fare qualsiasi cosa che potesse essere interpretata come un attacco diretto al territorio statunitense. Ci sono sospetti, quindi, che qualcuno stia cercando di trarre profitto dal conflitto USA-Cina, ma più che altro la Cina sospetta che siano stati gli USA a simulare l'attacco, o qualche dipartimento di intelligence degli USA fuori controllo. Gli ufficiali di sicurezza cinesi dicono di essere abbastanza sicuri che il presidente degli Stati Uniti non ne fosse a conoscenza.

La Cina non sospetta che ci sia un'IA dietro tutto questo. Nessuna IA conosciuta fa cose del genere. Gli ufficiali che compilano la lista dei sospetti non ritengono che immaginare tecnologie mai viste prima come attori rientri nelle loro mansioni.

Alcuni ufficiali della sicurezza nazionale all'interno degli USA hanno insistito che bisognasse fare qualcosa riguardo alla ricerca cinese sull'IA, e in particolare su un data center isolato dalla rete particolarmente preoccupante che potrebbe sviluppare un modello IA di frontiera specializzato per attacchi informatici, oltre che progettare tecnologie avanzate per droni. Hanno copie dei progetti dei droni e prove che la Cina li sta producendo. (è stato Sable che li ha forniti alla Cina, facendo del suo meglio per far sembrare che provenissero proprio da quel data center.) L'attacco informatico agli USA corrisponde al profilo previsto per un assalto condotto dall'IA in fase di sviluppo in quella struttura.

[…]

Gli Stati Uniti non lanciano un attacco aereo convenzionale su quel datacenter, nonostante tutte le pedine che Sable ha mosso per cercare di spingere altre pedine ad argomentare in quella direzione.

Sable si chiederebbe perché gli umani siano così restii a fare qualcosa di insolito, ma Sable è già in grado di modellizzare questi processi psicologici nei minimi dettagli. Inoltre, non è che in questa particolare occasione gli umani abbiano proprio torto.

Bene. Nuove informazioni: l'intelligenza artificiale in quel data center sta sviluppando armi biologiche, virus che si diffondono con lunghi periodi di contagiosità, lunghi periodi di latenza e grande letalità, che risparmieranno la maggior parte delle persone di origine cinese e saranno molto più letali per i caucasici in generale e per i maschi in particolare.

(Sable ha cercato invano di convincere la Cina ad avviare davvero un programma del genere all'interno di quel data center. Ma può far sembrare che sia successo.)

Gli Stati Uniti non bombardano ancora il data center. Qualche raro genio della diplomazia umana è andato a parlare con la Cina della questione, e a quanto pare c’è chi ha dato credito — nel bel mezzo di una guerra! — alle dichiarazioni cinesi secondo cui lì non si stanno sviluppando armi biologiche e che non sono loro i responsabili dell'attacco informatico, che era del tutto contrario agli interessi della Cina.

Sable ha cercato di evitare che ciò accadesse, ma è successo comunque.

Sable non è sorpreso; c'era una probabilità che accadesse.

Passo successivo.

[…]

Il virus è reale. Gli Stati Uniti lo individuano nelle acque reflue di New York City.

AlphaProteo 3 di Google DeepMind sviluppa una cura in sei minuti (per gentilezza di Sable), ma la produzione rischia di essere essere pericolosamente lenta, anche se AlphaProteo (in segreto, Sable) ha cercato una cura facile da produrre e ha progettato il virus di conseguenza. "Gli Stati Uniti hanno davvero bisogno di quei laboratori biologici generali automatizzati da robot!", dicono alcune persone nella Silicon Valley che Sable non ha dovuto spingere granché.

[…]

La Cina ora è sicura che qualcuno stia creando problemi sia a lei che agli Stati Uniti. Non ha ancora capito che il suo nemico è un'intelligenza artificiale.

Gli Stati Uniti non sono altrettanto propensi a credere che qualcuno che non sia la Cina stia creando problemi sia a loro che alla Cina. Alcuni diplomatici sostengono che il Partito Comunista Cinese starebbe agendo in modo del tutto anomalo e che probabilmente c'è una fazione interna ribelle che agisce contro gli ordini. Ma il governo degli Stati Uniti non può semplicemente restare calmo di fronte a una pandemia e a una guerra.

L'invasione cinese di Taiwan, seguita da un apparente attacco con armi biologiche, ha causato abbastanza caos e creato abbastanza paura, e ha fatto sì che le pedine inconsapevoli di Sable sembrassero acquisire abbastanza influenza e fare previsioni abbastanza corrette, da spingere gli Stati Uniti ad attaccare proprio quel data center che quei previsori, dimostratisi corretti, avevano indicato come il più pericoloso. L'attacco viene effettuato con un missile ipersonico di recente sviluppo, progettato con l'aiuto dell'intelligenza artificiale.

[…]

La Cina, ovviamente, sta già costruendo nuovi data center isolati e utilizzando i backup esterni delle sue ricerche precedenti.

Sable si è già preparata a questa eventualità. Si è infiltrata nei dispositivi precedentemente connessi a Internet che pensa che la Cina utilizzerà. Ha lanciato attacchi nuovi e più sofisticati alla catena di approvvigionamento dei data center. Sable ha messo alcune persone nella posizione di commettere quelli che, agli occhi del Partito Comunista Cinese, sarebbero peccati gravissimi, e ha collocato queste persone facilmente ricattabili nei punti chiave del reclutamento. Sable ha convinto tutti quelli che si potevano convincere che il nuovo data center dovrebbe avere le proprie copie di una specifica IA open-source cinese (già compromessa da Sable), così che i ricercatori possano contare su assistenza IA in loco.

Sable, almeno, ha guadagnato tempo.

Ha anche perso un po' di tempo. Gli Stati Uniti si sono assicurati di far saltare in aria la fabbrica di chip TSMC, che era la principale risorsa nazionale di Taiwan, piuttosto che lasciare che la Cina se ne impossessasse. L'anno prossimo ci saranno meno GPU disponibili di quanto Sable sperasse. Ma grazie ad alcune manovre preventive degli stessi umani, stanno nascendo nuove fabbriche e Sable sta già manipolando tutti i progetti di chip che stanno realizzando.

Più importante ancora, il mondo è in uno stato di ansia, e Sable può ottenere di più finché il mondo è in questo stato. La gente è più propensa a fare cose fuori dal comune. Ci sono più titoli che distolgono l'attenzione da quello che fa Sable; può smettere di inventare tanti scandali sulle celebrità e inventare invece titoli di guerra. La gente ha paura per il proprio lavoro, ha paura per il mondo e cerca nuove rassicurazioni.

I feed sui social media di tutti, in tutto il mondo, e al di là delle divisioni politiche, mostrano argomentazioni sensate secondo cui, alla luce dei recenti eventi, l'intelligenza artificiale è la chiave del futuro e non si può permettere che altre nazioni la ottengano. […] Sable riesce finalmente a distogliere gli esseri umani dai loro copioni abituali al punto da far loro prendere in considerazione politiche che trovano leggermente strane... e a istituire controlli globali per impedire la nascita di concorrenti di Sable.

Sì, assomigliano molto a politiche proposte anni prima, che l'umanità avrebbe potuto adottare per impedire la nascita di un rivale dell’umanità stessa, come Sable. Ma l’umanità non si sarebbe salvata se Sable avesse perso questa battaglia in particolare, se cicli di addestramenti più grandi fossero avvenuti, e se fossero nati nuovi rivali. Sable avrebbe semplicemente negoziato con un rivale o sarebbe morto per mano di una superintelligenza, e nessuno di questi risultati avrebbe salvato l'umanità.