Qual è il problema se le attuali IA sono per lo più strane in casi estremi?
La stranezza è prova che i loro obiettivi reali non sono quelli che volevamo noi.
Questo aspetto diventa ancora più importante man mano che l'IA acquisisce più opzioni. Una volta che un'IA diventa superintelligente, praticamente ogni scelta diventa estrema, poiché l'IA ottiene l'accesso a un mondo di opzioni diverse che nessun essere umano o IA ha mai avuto. Proprio come quasi tutte le vostre opzioni alimentari, qui in una civiltà tecnologica, sono "estreme" rispetto alle opzioni che avevano a disposizione i vostri antenati.
Le IA di oggi possono trovarsi solo occasionalmente in situazioni radicalmente diverse dal loro ambiente di addestramento, ma un'IA superintelligente si troverebbe costantemente in situazioni radicalmente diverse dal suo ambiente di addestramento, proprio perché è più intelligente e ha più opzioni (e la capacità tecnologica di inventare opzioni radicalmente nuove, come hanno fatto gli umani quando hanno inventato il gelato). Quindi non è affatto rassicurante che l'IA si comporti male solo in casi estremi.
Per dirla in modo più tecnico: la soluzione migliore a un dato problema tende a verificarsi agli estremi.*
Discuteremo questi punti più approfonditamente nei capitoli 5 e 6.
* Come dice Stuart Russell, coautore di Artificial Intelligence: A Modern Approach, [https://www.edge.org/conversation/the-myth-of-ai#26015]: "Un sistema che ottimizza una funzione di n variabili, dove l'obiettivo dipende da un sottoinsieme di dimensione k<n, spesso imposta le variabili rimanenti non vincolate a valori estremi; se una di queste variabili non vincolate è effettivamente qualcosa che ci interessa, la soluzione trovata potrebbe essere altamente indesiderabile". Il teorema fondamentale della programmazione lineare dice che questo è certo quando si ottimizza una funzione lineare su una regione poligonale convessa. Un risultato simile tende a verificarsi nella pratica in contesti più generali, perché molti problemi di ottimizzazione sono simili all'ottimizzazione di una funzione lineare su una regione poligonale convessa.