Sarebbe un suicidio, perché siamo troppo lontani da una soluzione di allineamento.

Negli ultimi dieci anni circa, alcune persone preoccupate per i pericoli dell'IA hanno sostenuto che potrebbe essere una buona idea far progredire l'IA il più velocemente possibile. L'idea era che le IA più intelligenti avrebbero poi avuto bisogno di quasi tutto l'hardware informatico del mondo per funzionare. Nessuna singola scoperta rivoluzionaria avrebbe scatenato all'improvviso migliaia di potenti IA in grado di pensare migliaia di volte più velocemente di qualsiasi essere umano.

Finché l'umanità avesse usato una parte consistente della sua potenza di calcolo per far funzionare le IA più intelligenti, almeno il cambiamento sarebbe avvenuto gradualmente, dando all'umanità il tempo di adattarsi. Non ci sarebbe stato nessun "eccesso di hardware", nessun momento in cui le capacità dell'IA avrebbero fatto un balzo in avanti improvviso perché il mondo stava aspettando di utilizzare per l'IA un sacco di hardware informatico accumulato lì. O almeno così sosteneva l'argomentazione.

Pensiamo che questa sia un'argomentazione piuttosto debole. Uno dei problemi è che l'intelligenza sembra essere soggetta a effetti soglia.

Il passaggio da un livello di intelligenza simile a quello degli scimpanzé a quello umano non è stato "discontinuo" in senso stretto; dal punto di vista dell'umanità è stato piuttosto graduale. Tuttavia, dal punto di vista evolutivo è avvenuto piuttosto rapidamente. E il passaggio dalla civiltà preindustriale a quella postindustriale è stato ancora più veloce. Nessuno di questi cambiamenti è stato abbastanza graduale da consentire agli altri animali di adattarsi in modo significativo.

Ad esempio, un'intelligenza artificiale che richiede una parte significativa della potenza di calcolo mondiale per funzionare potrebbe essere abbastanza intelligente da scoprire nuovi algoritmi di intelligenza artificiale e nuovi progetti di chip per computer che portassero rapidamente alla creazione di migliaia di intelligenze artificiali più intelligenti degli esseri umani e in grado di pensare migliaia di volte più velocemente dell'umanità. Ricordate: un moderno centro di calcolo consuma tanta elettricità quanto una piccola città, mentre un essere umano consuma tanta elettricità quanto una grande lampadina. C'è molto margine per migliorare l'efficienza dell'IA.

Oppure, se il collo di bottiglia è la potenza di calcolo per costruire le IA piuttosto che quella per farle funzionare, possiamo aspettarci che, una volta finito il processo di addestramento, ci saranno grandi quantità di hardware libero, che potrà essere utilizzato per far funzionare molte IA che pensano velocemente.

Anche se l'intelligenza non fosse soggetta a effetti soglia, siamo scettici sull'idea che portare continuamente all'umanità delle IA sempre più intelligenti (anche se nessuna di esse è abbastanza intelligente da ucciderci) il più rapidamente possibile sia un ottimo modo per aiutare l'umanità a sviluppare la disciplina ingegneristica necessaria per costruire IA robustamente amichevoli.

Il problema è che le IA non vengono costruite ma fatte crescere, e nessuno è neanche lontanamente vicino a capire come fare crescere IA che si preoccupino in modo robusto di qualsiasi cosa i loro progettisti vogliano.

Questo problema non si risolve facendo crescere più IA il più rapidamente possibile. L'idea è praticamente un non sequitur. Si vedano anche alcuni vecchi post di Soares su come l'allineamento dell'IA richieda uno sforzo seriale.

Il non sequitur è stato comunque ripreso dall'amministratore delegato di OpenAI Sam Altman, che l'ha usato come scusa nel 2023 per far sì che OpenAI procedesse il più velocemente possibile.

Questa scusa si è poi rivelata vuota quando lo stesso Sam Altman si è affrettato a costruire hardware di calcolo di gran lunga più potente.

Pensiamo che questo sia un buon esempio di come i dirigenti delle aziende di IA si aggrappino a qualsiasi argomentazione pensino possa funzionare per giustificare la loro corsa in avanti. Pensiamo che la maggior parte di queste argomentazioni possa essere respinta nel merito e sconsigliamo di dare troppo peso a un argomento solo perché è stato avanzato da un dirigente di un'azienda di IA.