Estamos diciendo que los funcionarios del gobierno deberían tomarse el problema en serio.

No vemos de qué modo el pánico podría mejorar la situación. No fue entrando en pánico como la sociedad sobrevivió a la amenaza del fascismo durante la Segunda Guerra Mundial, ni a la de la aniquilación nuclear durante la Guerra Fría.

Impedir que la superinteligencia artificial llegue a existir es un problema que nos concierne a todos. En el capítulo 13, analizamos los próximos pasos que creemos que el mundo debería dar para evitar el peligro. Baste decir que este problema requerirá coordinación, cooperación, sensatez y una comunicación madura.

Actuar con pánico extremo no da buenos resultados.

A veces la gente nos pregunta cómo podemos ser sinceros en lo que decimos si, por ejemplo, no hemos empezado a atacar a los investigadores de IA. La respuesta es que los arrebatos violentos empeorarían las cosas. (Si eres el tipo de utilitarista ingenuo que cree que ayudarían, probablemente deberías dejar de intentar razonar de forma consecuencialista y ceñirte a seguir las reglas deontológicas, como hemos argumentado anteriormente.)

No somos pacifistas radicales que piensen que una nación nunca debe ir a la guerra, sea cual sea la causa, por el simple hecho de que se arriesgan vidas. Hay cosas por las que vale la pena arriesgar la vida. Pero hay un mundo de diferencia entre «no soy un pacifista radical» y «creo que el caos violento es una forma sensata de garantizar que el mundo gestione bien esta complicada cuestión de la proliferación tecnológica».

Por lo general, estas terribles sugerencias las plantean personas que en realidad no creen que la IA esté a punto de matarnos y que no han intentado ver el mundo desde esa perspectiva. No se les ocurre preguntarse si los actos de violencia ilegal realmente ayudarían. (A pesar de nuestros esfuerzos por explicarlo repetidamente, como en las adendas aquí.)

No somos telépatas, pero nos parece que este tipo de escépticos ante los desastres causados por la IA posiblemente ven la violencia como una forma de expresión personal, como si expresar sentimientos extremos de manera extrema hiciera que el mundo les diera lo que quieren.

Pero el mundo no funciona así. No vivimos en un mundo en el que todos tengan la opción de vender su alma para tener éxito en sus proyectos, y donde la razón por la que la mayoría de la gente no lo hace es porque no ha encontrado un proyecto que valga lo que vale su alma. El terrorismo no es un botón mágico de «¡Yo gano!» que la gente evita pulsar solo por la convicción de que no estaría bien. El Unabomber no consiguió revertir la industrialización de la sociedad.

Aún puedes destrozar tu alma con actos de odio o violencia, pero lo único que obtendrás a cambio es un mundo más roto. Un mundo donde el discurso está mucho más envenenado y donde la coordinación internacional necesaria para resolver de verdad este problema es ahora mucho más difícil de alcanzar. Un terrible acto de desesperación no te otorgará un terrible poder como parte de un pacto faustiano. Puedes esforzarte al máximo por vender tu alma, pero el diablo no la compra.