No.

In tutto il libro abbiamo esposto le nostre argomentazioni sul perché procedere troppo velocemente con l'IA potrebbe portarci tutti alla morte. Nel capitolo 3 abbiamo discusso di come l'IA avrà i suoi impulsi e obiettivi. Nei capitoli 4 e 5 abbiamo spiegato perché l'IA potrebbe perseguire fini che nessuno aveva previsto, e nel capitolo 6 abbiamo illustrato come le superintelligenze artificiali avranno non solo un motivo, ma anche i mezzi per ucciderci tutti.

Queste sono le affermazioni che vi chiediamo di valutare quando decidete se la corsa alla superintelligenza debba essere fermata. Non si può capire se la ricerca sull'IA sia sulla strada per ucciderci tutti continuando a discutere dei piani dei dirigenti aziendali.

Gli amministratori delegati stanno cercando di creare clamore parlando del "rischio dell'IA"?

O stanno cercando di assecondare i ricercatori e i legislatori preoccupati, e di posizionarsi come i "buoni"?

Queste domande non influiscono sui fatti relativi al comportamento delle macchine intelligenti.

Anche se gli amministratori delegati delle aziende di IA non vedono l'ora di sfruttare le discussioni sui pericoli per pubblicizzare il loro prodotto, ciò non significa che il lavoro che stanno facendo sia quindi innocuo. Per capire se è pericoloso, bisogna esaminare l'IA stessa come tecnologia, non i comunicati stampa che escono dai laboratori.

Anni prima che queste aziende esistessero, c'erano ricercatori e accademici senza alcun incentivo aziendale — noi compresi — che mettevano in guardia contro la corsa a costruire un'IA più intelligente dell'uomo. Abbiamo parlato con Sam Altman ed Elon Musk prima che co-fondassero OpenAI, e abbiamo detto loro che l'idea di avviare OpenAI sembrava sciocca e avrebbe probabilmente aumentato il pericolo. Abbiamo parlato con Dario Amodei prima che entrasse in OpenAI e gli abbiamo sconsigliato la sua incessante spinta a scalare le IA (un progetto che avrebbe portato ai modelli linguistici di grandi dimensioni).

E se si guarda ai messaggi di oggi, molte persone senza incentivi aziendali stanno esprimendo le loro preoccupazioni. Si va da rispettatiaccademici al defunto Papa al presidente della FTC^* a membri del Congresso degli Stati Uniti.

C'è una cosa da dire sul trattare con cinismo le dichiarazioni dei dirigenti delle aziende tecnologiche. Non mancano esempi di dirigenti di aziende di IA con due facce, che dicono una cosa nei blog privati e un'altra quando testimoniano davanti al Congresso. Ma saltare da "i capi di questi laboratori sono bugiardi" a "non c'è alcun modo possibile che l'IA possa rappresentare una grave minaccia" è molto strano, quando gli stessi laboratori minimizzano regolarmente questo problema. Il padrino del campo e vincitore del premio Nobel, lo scienziato vivente più citato, un flusso costante di informatori e centinaia di ricercatori visibilmente nervosi stanno lanciando l'allarme al riguardo. Nulla della situazione sembra un normale ciclo di eccitazione aziendale. In una circostanza come questa, respingere l'idea senza nemmeno confrontarsi con le argomentazioni sembra più ingenuità che cinismo.

Domande come "I dirigenti possono raccogliere più fondi parlando dei pericoli?" possono dirci qualcosa su quanto fidarci dei dirigenti, ma non ci dicono molto sui pericoli stessi. Se discutere del pericolo è redditizio, ciò non influisce sul fatto che il pericolo sia reale. Se non è redditizio, neanche questo influisce sul fatto che sia reale.

Se volete capire se i pericoli sono reali, dovete porvi domande come "Qualcuno può creare un'IA che si comporti in modo amichevole anche dopo aver superato l'intelligenza umana?" e comunque confrontarvi con argomentazioni sull'IA, piuttosto che con argomentazioni sulle persone che vi stanno intorno. Quindi, alla fine, vi preghiamo di confrontarvi con le argomentazioni stesse. Le conseguenze dello sbagliare su questo punto sono troppo gravi.