La mancanza di consenso tra esperti è indice di un campo tecnico immaturo.

Abbiamo notato che molti scienziati senior di IA pensano che questa tecnologia abbia serie possibilità di uccidere tutti gli esseri umani. Per esempio, il premio Nobel Geoffrey Hinton, che ha avuto un importante ruolo da pioniere nell'approccio moderno all'IA, ha detto che, secondo la sua valutazione personale indipendente, le probabilità che l'IA ci uccida tutti sono superiori al cinquanta per cento. Più di 300 scienziati dell'IA hanno firmato la Dichiarazione sul rischio dell'IA del 2023 con cui abbiamo aperto il libro. (E ci sono altri esempi.)

Altri scienziati, tuttavia, hanno la visione opposta — alcuni esempi noti sono Yann LeCun e Andrew Ng.

Cosa pensare di questa mancanza di consenso scientifico?

Beh, principalmente, raccomandiamo di esaminare le diverse argomentazioni presentate dalle due parti (comprese le nostre argomentazioni nel libro) e di valutarle personalmente. Pensiamo che la qualità delle argomentazioni parli per lo più da sé, e qualsiasi tentativo di spiegare perché c'è un disaccordo persistente dovrebbe essere trattato come un ripensamento.

Notiamo però, per inciso, che questa situazione non è affatto misteriosa, alla luce di quanto discusso nei Capitoli 11 e 12. La semplice esistenza di un diffuso disaccordo tra esperti non dimostra certo la tesi del libro, ma è più coerente con il quadro che abbiamo delineato — ovvero che il campo è ancora agli albori, in uno stadio simile all'alchimia — piuttosto che con il quadro opposto secondo cui l'IA è un campo maturo con solide basi tecniche.

È sicuramente un po' strano che il campo dell'IA sia così diviso, proprio quando sta creando una tecnologia così potente. Altri pericoli tecnologici hanno avuto maggior consenso al riguardo. Circa 100 scienziati su 100 del Progetto Manhattan avrebbero detto che la guerra termonucleare globale presentava un rischio sostanziale di catastrofe globale. Al contrario, tra i tre scienziati che hanno ricevuto il Premio Turing per la ricerca che ha più o meno dato il via alla moderna rivoluzione dell'IA, due (Hinton e Bengio) parlano apertamente dei pericoli della superintelligenza, mentre uno (LeCun) è apertamente sprezzante.

Questo livello di disaccordo sul funzionamento di una macchina non è normale tra esperti in un campo tecnico maturo. È indice di immaturità.

Nella maggior parte dei campi tecnologici, tale immaturità è indice di sicurezza. Quando i fisici discutevano ancora sulle proprietà fondamentali della materia, non erano neanche lontanamente vicini alla creazione di armi nucleari. Si poteva osservare il loro disaccordo e dedurre che non stavano per creare una bomba in grado di radere al suolo le città. Non è che sia possibile creare una bomba nucleare senza che gli scienziati ne comprendano in dettaglio il funzionamento interno.

Sarebbe tutta un’altra storia se i fisici stessero ancora litigando sui principi operativi fondamentali del loro campo mentre creano esplosioni sempre più grandi.

Supponiamo che stessero semplicemente facendo crescere le bombe, e che non capissero davvero perché o come funzionassero. Ora supponiamo che due terzi degli scienziati più decorati dicessero: "Abbiamo fatto del nostro meglio per capire cosa sta succedendo. Sembra che le bombe possano creare quantità eccessive di radiazioni cancerogene che uccideranno molti civili lontani, se continuiamo su questa strada. Per favore, esaminate le nostre argomentazioni sul perché questo è così pericoloso e smettete di andare avanti di corsa su questa strada". Il restante terzo risponde: "Sembra ridicolo! Ci sono sempre persone che predicono catastrofi, e non si può permettere che ostacolino il progresso". Beh, quella sarebbe una situazione completamente diversa.

Il disaccordo tra gli scienziati in quel tipo di scenario non sarebbe particolarmente confortante. Probabilmente agli ingegneri non dovrebbe essere permesso di continuare a far crescere esplosivi sempre più grandi in una situazione del genere.

Le aziende di IA stanno riuscendo a far crescere macchine sempre più intelligenti, anno dopo anno. Non comprendono le meccaniche interna dei dispositivi che creano. Molti degli scienziati più eminenti del campo esprimono gravi preoccupazioni; altri le liquidano con leggerezza, senza offrire grandi contro-argomentazioni. Questo è, quantomeno, indice che il campo è immaturo. La mancanza di consenso, quantomeno, non è prova che le cose vadano bene. La mancanza di consenso in una situazione del genere dovrebbe essere, quantomeno, preoccupante.

Come si fa a capire se queste preoccupazioni sono reali? Come si fa a capire chi ha ragione tra chi lancia l'allarme e chi cerca di liquidarlo? Come sempre, bisogna semplicemente valutare le argomentazioni.