No. Non sappiamo dove siano le soglie critiche.

C'è una buona probabilità che lo sviluppo dell'IA sfugga al controllo una volta che le IA saranno abbastanza intelligenti da automatizzare tutta la ricerca sull'IA. In teoria, ciò potrebbe accadere silenziosamente in un laboratorio, senza eventi precursori evidenti, senza segnali di avvertimento che risveglino l'umanità.

Come discusso in precedenza, il cervello degli scimpanzé è molto simile a quello umano, solo che è circa quattro volte più piccolo. Non c'è un modulo extra "sii molto intelligente" nel cervello umano; esiste un percorso graduale tra cervelli come i loro e cervelli come i nostri; sarebbe difficile dire dove si trova il confine tra "una società di questi porterà a un branco di scimmie" e "una società di questi camminerà sulla luna" solo guardando i cervelli. I cervelli dei primati hanno superato una soglia critica, e dall'esterno non sarebbe stato ovvio. Ci sono soglie critiche che l'IA supererà? Chi lo sa! Non è che gli ingegneri dell'IA possano dircelo; non sono nemmenoin grado di prevedere le capacità specifiche dei loro nuovi sistemi di IA prima di metterli in funzione.

Se l'umanità capisse esattamente come funziona l'intelligenza e come cambierebbe il comportamento delle IA man mano che la loro potenza aumenta, potrebbe essere fattibile ballare sul bordo del precipizio. Ma al momento, l'umanità è come qualcuno che corre verso il bordo di un precipizio nel buio e nella nebbia, con la caduta finale a una distanza sconosciuta. Non possiamo semplicemente aspettare di inciampare oltre il bordo per decidere che avremmo dovuto agire in modo diverso.

Non ne saremo mai certi. Questo significa che siamo costretti ad agire prima di esserne certi, o morire.