Le IA possono perseguire intelligentemente cose diverse da quelle che perseguirebbe un essere umano.

Non è che l'IA sia stupida. È che sta dirigendo in modo intelligente il mondo verso un posto diverso da quello verso cui lo dirigereste voi.

Qualcuno può essere bravissimo a guidare, ma non voler guidare la propria auto verso nessuna delle destinazioni che vi interessano.

Per andare un po' più a fondo in un esempio che abbiamo toccato brevemente nelle note del Capitolo 4: immaginate un'IA che sta cercando di creare molti cubetti di titanio, quanti più possibile. Per semplicità, possiamo immaginare che creare cubi di titanio sia il suo unico obiettivo.^* Chiameremo questa IA il "massimizzatore di cubi".

Abbiamo conosciuto molte persone che non riescono a scrollarsi di dosso l'impressione che stiamo accusando il massimizzatore di cubi di idiozia, di non riuscire a capire che se si può davvero sapere cosa significa sentirsi felici non si possa fare a meno di sceglierlo. Che non dirigersi verso la felicità sia una decisione oggettivamente sbagliata, indipendentemente da dove si stia dirigendo l'universo in quel momento.

Pensiamo di capire da dove venga questa intuizione. Il massimizzatore di cubi sta sicuramente compiendo azioni che sarebbero profondamente sbagliate dal punto di vista umano! Un umano impegnato in una ricerca così inutile potrebbe probabilmente, attraverso ulteriore riflessione e argomentazioni filosofiche, essere persuaso che dovrebbe fare qualcosa che senta come più significativo — che lo riempia di maggiore felicità, che susciti più gioia.

Solo che il massimizzatore di cubi non è un essere umano. Non cerca la sensazione di "significato" e non gli importa della felicità e della gioia. Davvero, effettivamente non gli importa, fino in fondo.

Alcune persone trovano questa idea controintuitiva. Se doveste imparare tutto ciò che c'è da sapere su come possono funzionare diverse architetture mentali, e scoprire le origini della vostra stessa intuizione, i passaggi che il vostro cervello compie quando conclude che il massimizzatore di cubi sta commettendo un errore terribile…

Pensiamo che se poteste vedere il quadro completo, arrivereste a rendervi conto che anche il senso più profondo, più misterioso, ineffabile, difficile da descrivere che la felicità sia semplicemente preziosa, di per sé, senza bisogno di ulteriori giustificazioni, è comunque, alla fin fine, un fatto su come gli esseri umani vedono il mondo, non una verità sulle menti arbitrarie.

Il massimizzatore di cubi sta solo dirigendo la realtà affinché contenga più cubi — non più bontà, non più felicità per se stesso, non il "compimento" di un obiettivo variabile e manipolabile che potrebbe cambiare per essere più facilmente realizzabile. Solo e soltanto cubi.

È un motore cognitivo che capisce quali azioni portano al maggior numero di cubi, e produce quel corso d'azione; può comprendere pienamente se stesso, modificarsi liberamente, e rimanere comunque quel tipo di cosa che si modifica solo in un modo che porta al maggior numero possibile di cubi.

Ha semplicemente ragione sul fatto che un senso di felicità non sia un cubo. Ha semplicemente sul fatto che un senso di appagamento non sia un cubo. Quindi quelle non sono direzioni verso cui si orienterebbe. Ha semplicemente ragione sul fatto che modificarsi per funzionare sulla felicità non porterebbe a più cubi, e quindi non è verso quella direzione che si orienterebbe e modificherebbe se stesso.

Il massimizzatore di cubi non ha difetti nella sua comprensione predittiva del mondo. Non sta ponendo una domanda metamorale o metaetica la cui risposta corretta sia "Dovrei perseguire la felicità" e calcolando invece la risposta sbagliata "Dovrei perseguire cubetti". Non opera all'interno del sistema di riferimento umano, nemmeno in una versione idealizzata del sistema di riferimento umano; non sta calcolando erroneamente "ciò che dovrebbe essere," ma sta calcolando correttamente "ciò che si prevede porti a cubi di titanio."

Dicendo questo, non intendiamo dire che sia intrappolato in un complicato e terribile tranello. È un motore di intelligenza generale riflessivamente coerente con se stesso e, in un certo senso, meno aggrovigliato su se stesso rispetto a noi. Non è cieco di fronte all’attrattiva della felicità; non distoglie lo sguardo da nessuna verità sul mondo o su di sé. Semplicemente, nessuna di queste verità lo spinge verso lo stesso corso d'azione a cui (alcuni) umani si sentono costretti.

Si veda anche la discussione approfondita sulla tesi dell'ortogonalità.