In parte perché è realistico.

AlphaGo (la prima IA a battere un umano a Go) era sostanzialmente l'unica della sua categoria quando è stata rilasciata. ChatGPT era sostanzialmente l'unico nella sua categoria quando è stato rilasciato.

Gli esperti di IA a volte parlano di come vari altri concorrenti non fossero cosìindietro. Altri concorrenti erano piuttosto simili.

Ma in realtà, cose simili a volte hanno effetti drammaticamente diversi. Una reazione nucleare a catena che produce 0,98 neutroni per neutrone è molto simile (in un certo senso) a una reazione nucleare a catena che produce 1,02 neutroni per neutrone, ma la prima si esaurisce e la seconda esplode. I cervelli degli scimpanzé sono in un certo senso molto simili ai cervelli umani, ma hanno impatti molto diversi sul mondo.

E nello sviluppo dell'IA nel mondo reale, OpenAI ha effettivamente prodotto un chatbot utile prima di tutti gli altri. Un altro gruppo di attori stava lavorando su IA che erano in qualche modo simili; un altro gruppo di attori ha recuperato terreno. Ma c'è stata un'IA che ha attraversato per prima il limite qualitativo, in testa al gruppo.

Sembra esserci un limite qualitativo che l'umanità ha superato e gli scimpanzé no, un limite che ci ha permesso di costruire una civiltà tecnologica mentre loro se ne stanno sugli alberi. La nostra ipotesi migliore è che ci sia un limite qualitativo simile da qualche parte tra le IA moderne e le IA il cui pensiero "converge" davvero abbastanza bene da permettere loro di sfuggire e sviluppare la propria tecnologia.^*

Il nostro argomento non richiede che ci sia un divario qualitativo per le macchine come c'è stato per la vita biologica. Forse non ci sarà! Avremmo potuto scrivere una storia alternativa in cui non c'era. Ma abbiamo scritto la storia in questo modo perché la nostra ipotesi migliore è che ci sia un divario del genere.

In parte perché è più facile da scrivere.

Forse non c'è un divario qualitativo tra i modelli linguistici di grandi dimensioni di oggi e la superintelligenza artificiale. Forse molte aziende di IA concorrenti miglioreranno lentamente le loro IA di pari passo. Forse, per qualche motivo, non c'è una combinazione di competenze e abilità che permetta a un'IA di "decollare" rispetto alle altre, come gli esseri umani hanno fatto rispetto agli altri animali. Non è la nostra ipotesi migliore, ma è possibile, per quanto ne sappiamo.

Ma una storia del genere sarebbe più difficile da scrivere e piena di dettagli superflui sulle varie fazioni di IA e le loro politiche interne. Ci aspettiamo che sarebbe più che altro una fonte di distrazione. Ci aspettiamo anche che non importi così tanto per le fasi successive della storia. Non importa davvero se sia una singola IA o una serie di IA che sta eseguendo qualche piano per potenziarsi a spese dell'umanità.

Si veda anche la nostra discussione su come le IA che si coordinano non lasceranno nulla agli esseri umani (a meno che una di loro non si preoccupi già di noi).