Potrebbe aiutare a risolvere il problema dell'allineamento.

Il problema dell'allineamento dell'IA non ci sembra fondamentalmente irrisolvibile. Ci sembra solo che gli umani non siano neanche lontanamente vicini a risolverlo e che non abbiano raggiunto il livello di intelligenza in cui pensare di avere una soluzione sia fortemente correlato con l'avere effettivamente una soluzione.

I ricercatori di IA spesso riconoscono che il problema dell'allineamento sembra incredibilmente difficile e che finora sono stati fatti pochissimi progressi. Ecco perché l'idea "forse possiamo chiedere alle IA di fare il lavoro dell'allineamento al posto nostro" è così allettante: quando siete dei ricercatori di IA e sentite che voi e i vostri colleghi non siete all'altezza di risolvere un certo problema, la cosa più ovvia da fare è rivolgersi all'IA.

Ma, come diciamo nel capitolo 11 e nella risorsa online associata, è chiaro anche dal punto di vista di un profano che questa idea ha molti problemi: perché un'IA capisca come risolvere un problema profondo con cui anche i migliori ricercatori umani hanno grandi difficoltà, deve essere abbastanza intelligente da essere pericolosa. E dato che noi abbiamo ben poca idea di cosa stiamo facendo, non abbiamo alcuna fonte di verità fondamentale che possiamo utilizzare per addestrare direttamente capacità di allineamento limitate, né alcun modo per verificare se una proposta di allineamento generata dall'IA sia sicura o efficace.

Il mondo può presentarci problemi che sono legittimamente fuori dalla nostra portata. La natura non è un gioco che offre all'umanità solo sfide "eque"; a volte possiamo imbatterci in problemi troppo difficili da risolvere anche per i migliori scienziati umani, o troppo difficili da risolvere nei tempi richiesti.

C'è un modo più realistico per passare l'intero problema a qualche entità più intelligente? Un'opzione potrebbe essere quella di rendere gli esseri umani più intelligenti in modo che possano legittimamente essere in grado di risolvere il problema dell'allineamento. Gli esseri umani sono "pre-allineati" in un modo che le IA non sono; le persone più intelligenti hanno le stesse motivazioni prosociali di base che abbiamo tutti.

In linea di principio, sembra possibile che le persone siano in grado di distinguere tra ciò che sembra una grande illuminazione alchemica che permetterà loro di trasformare il piombo in oro, e il tipo di conoscenza che effettivamente consente di trasformare il piombo in oro (usando la fisica nucleare per rimuovere alcuni neutroni dagli atomi di piombo). Dovrebbero senza dubbio apparire come stati di conoscenza diversi.

Ma gli ingegneri umani reali hanno molte difficoltà a capire in quale dei due stati si trovano. Nella storia reale della chimica, il livello di abilità dell'umanità era tale che gli alchimisti venivano regolarmente ingannati.

Nel mondo reale, gli scienziati si affezionano alle loro teorie preferite e si rifiutano di rivedere le proprie opinioni finché la realtà non li martella ripetutamente con "la tua teoria era sbagliata" — e a volte si rifiutano di cambiare idea anche allora: si dice talvolta che la scienza progredisce "un funerale alla volta", perché la vecchia guardia non cambierà mai le proprie opinioni e bisogna semplicemente aspettare che la nuova guardia maturi. Ma questo non è un vincolo fondamentale imposto dalla natura; è solo una questione di esseri umani come classe che sono insufficientemente accorti, attenti e consapevoli di sé.

Di solito, va bene che gli esseri umani siano ingenui in questi modi, perché di solito la realtà è abbastanza indulgente con gli errori, almeno nel senso che non spazza via tutta l'umanità per l'arroganza di un alchimista. Ma questo non è un lusso che l'umanità ha quando si tratta di allineare la superintelligenza artificiale.

L'umanità spesso acquisisce la propria conoscenza lottando, provando, fallendo e accumulando lentamente conoscenza. Ma non deve per forza essere così.

Einstein non solo fu in grado di formulare la relatività generale; fu capace di farlo riflettendo intensamente sul problema, ancor prima che l'umanità mettesse in orbita i satelliti e iniziasse a vedere con i propri occhi le discrepanze nei loro orologi (come discusso nel Capitolo 6). Aveva prove empiriche, ma è stato in grado di individuare efficacemente la risposta giusta ascoltando i primi, deboli sussurri dell’evidenza, invece di aspettare che la verità bussasse con violenza alla porta.

Quel percorso è più raro e più difficile da percorrere, ma quel tipo di genio scientifico esiste — anche se raramente, persino tra i migliori e i più brillanti del mondo.

Gli esseri umani potenziati di uno o due passi oltre il livello di ricercatori come Einstein o John von Neumann potrebbero iniziare a capire accuratamente i propri difetti, e correggerli, in dozzine di modi diversi.

Potrebbero notare quando stanno razionalizzando o cadendo vittime del bias di conferma. Potrebbero andare oltre il punto in cui si aspettano che un’idea brillante funzioni quando in realtà non funziona , fino a raggiungere uno stato in cui, quando si aspettano di riuscire, effettivamente riescono. Potrebbero raggiungere un livello di competenza in cui commettono ancora molti errori, ma non sono sistematicamente troppo sicuri (o troppo insicuri) in nuovi campi complessi.

Il potenziamento dell'intelligenza umana è davvero una possibilità? A noi sembra di sì, avendo parlato con diversi ricercatori nel campo biotecnologia che pensano che ci modi promettenti di attaccare il problema a breve termine. Anche un'IA attentamente mirata e focalizzata sulla biotecnologia potrebbe aiutare ad accelerare il lavoro. Ma dal nostro punto di vista, rimane molto incerto se un piano del genere funzionerebbe davvero. Quello che ci sentiamo più sicuri nel dire è che si tratta di un'opzione con alta leva che merita molti più investimenti ed esplorazioni di quanti ne stia ricevendo attualmente.

Non stiamo raccomandando il potenziamento dell'intelligenza umana come unica strategia post-spegnimento-dell'IA in cui pensiamo che l'umanità dovrebbe investire pesantemente. Piuttosto, questo è solo uno dei tanti esempi, e quello che attualmente pensiamo sia il più promettente. Raccomandiamo vivamente che l'umanità esamini molteplici possibili percorsi non-IA per andare avanti, piuttosto che puntare tutto su un’unica strategia.

Gli esseri umani potenziati non rappresentano un grave problema di "allineamento umano".

Gli esseri umani potenziati avrebbero essenzialmente la stessa struttura cerebrale, le stesse emozioni, ecc. del resto di noi. Con l'IA, anche quella addestrata a sembrare come noi, c'è un enorme divario in termini di differenze cognitive e motivazionali, e un divario altrettanto grande in termini di comprensibilità; con esseri umani leggermente più intelligenti, nulla di tutto ciò sembra particolarmente probabile.

I ricercatori con potenziamento cognitivo non avrebbero bisogno di mantenere la propria integrità mentale mentre si trasformano in vaste superintelligenze con menti milioni di volte più grandi. Dovrebbero solo essere portati al livello necessario per capire come costruire — non fare crescere — superintelligenze artificiali che siano davvero allineate e stabili.

Potrebbe comunque esserci un problema di "allineamento umano" in senso lato, nel senso che qualsiasi tentativo di coordinare più persone può incontrare problemi principale-agente e problemi di incentivi. E questi problemi sono intrinsecamente molto più importanti per qualsiasi gruppo incaricato di creare una superintelligenza.

Pensiamo che questi problemi siano gestibili a patto che gli esseri umani siano inizialmente visibilmente altruisti e generosi, che la loro intelligenza venga potenziata solo gradualmente e che operino in istituzioni ben progettate con incentivi ben strutturati. Ma è del tutto normale che la gente si preoccupi della possibilità che qualcuno cerchi di prendere il controllo. Risolvere questi problemi non sarebbe necessariamente facile, ma non sarebbe così irrealizzabile come le aziende che cercano di sviluppare superintelligenze imperscrutabili con menti del tutto incomprensibili e pulsioni disumane.

Creare una squadra d'élite di supergeni geneticamente modificati per aiutare il pianeta a navigare in sicurezza attraverso la transizione verso la superintelligenza è sicuramente il tipo di cosa che l'umanità dovrebbe fare con attenzione, vista la posta in gioco di un'impresa del genere. Una mossa del genere comporta varie questioni pratiche ed etiche, ma queste devono essere valutate rispetto al costo di lasciare che la superintelligenza ci uccida tutti, se non ci sono altre soluzioni altrettanto promettenti.

I tempi estremi possono richiedere misure estreme, ma potenziare l'intelligenza umana (in modo modesto) non sembra nemmeno una misura particolarmente drastica. Sembra piuttosto una tecnologia complessivamente positiva, che ha almeno qualche possibilità di aiutare l'umanità in più di un modo.

Possiamo collaborare per fermare la superintelligenza pur essendo in disaccordo sul potenziamento umano.

Se non siete d'accordo con noi sull'idea del potenziamento umano, possiamo comunque trovare un accordo per fermare lo sviluppo dell'IA di frontiera.

Se non risolviamo questo problema, moriremo tutti. Tutti quelli che non vogliono morire oggi devono collaborare a tal fine. Possiamo aspettare che la minaccia di morte immediata sia passata per discutere se potenziare l'intelligenza umana debba essere illegale o sovvenzionato.

"Rendere gli esseri umani più intelligenti di Einstein" non è un piano per non morire nel 2028 o nel 2032 o quando ci sarà la prossima svolta fondamentale negli algoritmi di IA.

Non è un piano che può andare di pari passo con lo sviluppo dell'IA. Anche se qualcuno usasse la tecnologia medica resa possibile da IA più stupide degli esseri umani per aumentare l'intelligenza umana ben oltre il livello di Einstein, tali potenziamenti probabilmente non sarebbero in grado di risolvere il problema dell'allineamento dell'IA e di progettare, creare e costruire in modo sicuro e rapido la superintelligenza artificiale, sotto la pressione temporale di una corsa agli armamenti. La corsa verso la superintelligenza deve comunque fermarsi.

L'idea alla base dell'aumento dell'intelligenza umana è che potrebbe addirittura rendere possibile risolvere il problema dell'allineamento, se un gran numero di ricercatori potenziati avesse anche un numero significativo di anni o decenni per lavorare sul problema. L'idea non è che potrebbero vincere una corsa per costruire una superintelligenza allineata tra sei anni, più velocemente di quanto il resto dell'industria dell'IA possa costruire e implementare una superintelligenza non allineata.

Molte persone che pensano che "potenziare l'intelligenza umana" sia un piano relativamente promettente, noi compresi, ritengono che i primi passi comprendano comunque la chiusura delle aziende di IA.

Anche coloro che hanno altri piani su cosa dovrebbe fare l'umanità in seguito, in genere concordano sul fatto che il primo passo dovrebbe essere la chiusura delle aziende di IA.

Meta AI non può esistere, OpenAI non può esistere, Anthropic non può esistere; ci uccideranno. Possiamo essere d'accordo su questa priorità immediata, anche se abbiamo idee molto diverse su cosa fare dopo.