Non necessariamente, e questo sembra un argomento a parte.

Prima che sia troppo tardi non parla affatto della coscienza delle macchine, concentrandosi invece sull'intelligenza delle macchine. Come primo passo nel parlare di coscienza, dovremmo prima chiarire che tipo di "coscienza" abbiamo in mente.

Quando qualcuno chiede "Il mio cane è cosciente?", può intendere diverse cose, come:

• Rover capisce davvero le cose, o sta solo eseguendo istinti complicati? Sta pensando, o sta solo seguendo meccanicamente un copione?
• È consapevole di sé? Sa della propria esistenza? Può riflettere sul suo processo di pensiero e costruire modelli mentali complessi di se stesso?
• Ha esperienze soggettive autentiche? Ha un proprio punto di vista interno o è solo un automa privo di mente? C'è qualcosa che si prova a essere il mio cane? Quando sono via per un po', guaisce come se gli mancassi; è perché sta davvero provando solitudine (o qualcosa del genere)? O è più simile a un semplice programma informatico inconscio che esibisce solo i comportamenti rilevanti senza provarli davvero?

Possiamo porci domande simili riguardo alle IA.

• ChatGPT ha una "comprensione reale"? Beh, è in grado di svolgere molto bene alcuni compiti cognitivi molto complessi, mentre altri non così bene. È bravo in molti compiti nuovi che non ha mai incontrato durante l'addestramento — compiti che richiedono di sintetizzare e modificare le informazioni in modi nuovi e creativi. Quindi, a un certo punto, la domanda se "capisca davvero" inizia a sembrare un cavillo terminologico. La domanda importante nella pratica, quella rilevante per la nostra sopravvivenza, è quali capacità concrete abbiano ora le IA e quali capacità probabilmente mostreranno nei prossimi mesi e anni.
• ChatGPT è autocosciente? Di nuovo, ChatGPT sembra bravo a modellizzarsi in alcuni modi e meno bravo in altri. C'è un serio fattore confondente nel fatto che l'intero paradigma che ha portato a ChatGPT era focalizzato sul creare cose che sembrino autocoscienti, fornendo lo stesso tipo di risposte che darebbero gli esseri umani. Le persone possono discutere se ChatGPT abbia superato o meno alcune soglie importanti nell'autocoscienza e possono dibattere su quali soglie restino nel futuro. Ma prima o poi, possiamo aspettarci che esisteranno IA con capacità pratiche estremamente potenti di comprendere e ragionare su loro stesse — la capacità di auto-debuggarsi, di progettare versioni nuove e migliorate di loro stesse, di fare piani complessi sulla loro posizione nel mondo, ecc.
• ChatGPT ha esperienze soggettive autentiche?

L'ultima di queste domande è la più spinosa dal punto di vista filosofico e porta a una serie di domande riguardanti se le IA come ChatGPT siano entità degne di considerazione morale. Discuteremo questi argomenti più avanti, nelle discussioni estese associate al Capitolo 5.

Quando usiamo la parola "cosciente", pensiamo specificamente ad "avere esperienza soggettiva" e non a cose come l'auto-modellizzazione e la comprensione pratica profonda.^*

La nostra ipotesi migliore è che le IA di oggi probabilmente non siano coscienti (anche se ogni anno siamo più incerti) e che l'esperienza soggettiva non sia necessaria per la superintelligenza.

Ma queste sono solo ipotesi, anche se basate su una ragionevole quantità di riflessioni e teorie. Non pensiamo affatto che sia sciocco preoccuparsi che alcuni sistemi di IA attuali o futuri possano essere coscienti, o persino preoccuparsi se potremmo star maltrattando gravemente le IA attuali, specialmente quando fanno cose come minacciare di uccidersi dopo non essere riuscite a debuggare del codice.

Qualsiasi entità che costituisca una superintelligenza secondo i nostri criteri dovrebbe essere estremamente brava a creare un modello di se stessa: riflettere sui suoi calcoli, migliorare le sue euristiche mentali, capire e prevedere l'impatto del suo comportamento sull'ambiente circostante, ecc. Ma la nostra ipotesi migliore è che la coscienza auto-consapevole in stile umano sia solo un modo particolare in cui una mente può creare un modello efficace di se stessa; non è un prerequisito necessario per il ragionamento riflessivo.

La coscienza può essere una parte importante del modo in cui gli esseri umani riescono a manipolare il mondo, ma questo non vuol dire che le macchine non coscienti siano difettose e incapaci di prevedere e dirigere il mondo. I sottomarini non nuotano come gli esseri umani, ma si muovono nell'acqua in modo completamente diverso. Ci aspettiamo che un'intelligenza artificiale riesca a superare le stesse sfide che superano gli esseri umani, ma non necessariamente attraverso lo stesso canale di esperienza soggettiva utilizzato dagli esseri umani.

(Vedi anche il caso analogo della curiosità, di cui parleremo nel supplemento al Capitolo 4).

Per dirla in un altro modo: il sangue è molto importante per il funzionamento di un braccio umano, ma questo non vuol dire che i bracci robotici abbiano bisogno di sangue per funzionare. Un braccio robotico non ha difetti come quelli che avrebbe un braccio umano senza sangue; funziona solo in modo diverso, senza sangue. La nostra ipotesi migliore è che le superintelligenze artificiali funzioneranno in modo diverso, non cosciente, anche se questa ipotesi non è importante per la nostra argomentazione nel libro.

L'attenzione in Prima che sia troppo tardi è sull'intelligenza, dove "intelligenza" è definita in termini di capacità di un ragionatore di prevedere e dirigere il mondo, indipendentemente dal fatto che il cervello di quel ragionatore funzioni come un cervello umano. Se un'intelligenza artificiale sta inventando nuove tecnologie e infrastrutture e le sta diffondendo in tutto il pianeta in un modo che ci uccide come effetto collaterale, allora fermarsi a chiedersi "Ma è cosciente?" sembra un po' accademico.

Approfondiremo il motivo per cui pensiamo che il fare previsioni e dirigere il mondo probabilmente non richiedano coscienza (e cosa questo significhi per il modo in cui dovremmo pensare al benessere e ai diritti dell'IA) dopo il Capitolo 5, una volta gettate le basi. Si veda "Efficacia, coscienza e benessere dell'IA" per questa discussione.

Notes