No.

No abogamos por que la humanidad espere una prueba literal de que alguna superinteligencia artificial será buena, ni nada por el estilo. Probablemente, tal prueba no sea posible ni siquiera en principio, y mucho menos en la práctica. Como dijo Einstein en su conferencia de 1921, Geometría y experiencia: «Cuanto más refieren a la realidad, las leyes matemáticas se vuelven inciertas; y cuanto más certeras son, menos se refieren a la realidad».

Una supuesta prueba sobre cómo se comportará una IA en el mundo real no garantiza el comportamiento real de la IA, ya que podríamos estar equivocados sobre cómo funciona el mundo real.

Esto ya ocurre con las computadoras de hoy en día. Por ejemplo, podrías pensar que si alguien tiene una prueba matemática literal de que, según el comportamiento teórico de los transistores y el diagrama de circuitos de una computadora, es imposible que un programa informático cambie la memoria de la celda n.º 2, entonces el programa informático no puede cambiar la memoria de la celda n.º 2. Pero el «ataque rowhammer» consiste en cambiar rápidamente las celdas de memoria n.º 1 y n.º 3 a ambos lados de la celda de memoria protegida, de manera que se acaba perturbando electromagnéticamente la celda n.º 2 del medio, cambiando una parte de la memoria de la computadora sin escribir directamente en ella. Los transistores físicos reales no son transistores matemáticamente perfectos, y las pruebas que parecen tranquilizadoras en teoría no siempre importan mucho en la práctica.

No exigimos una prueba matemática de que todo saldrá bien. No es posible cumplir ese estándar en la vida real y, aunque lo fuera, probablemente no merecería la pena el costo. Respaldamos que la sociedad asuma riesgos justificados. El argumento que planteamos no es que exista un riesgo mínimo difícil de disipar, sino que hay un peligro extremo que se cierne sobre nosotros.

Desarrollar una superinteligencia artificial animada por impulsos que solo guardan una relación tangencial con las intenciones de su operador es el tipo de cosa que sale mal por defecto. No es que haya una pequeña posibilidad de que las cosas salgan mal, sino que debemos prestar atención a este riesgo por un exceso de cautela. El libro no se titula Si alguien la crea, hay una pequeña probabilidad de que todos muramos, pero vale la pena mitigar incluso una pequeña probabilidad. Si nos precipitamos con este nivel de conocimiento y capacidad, es previsible que todos muramos, porque estamos muy lejos de ser capaces de crear IA superhumanas que sean amigables.

Si la IA fuera análoga a los automóviles, no diríamos: «Los cinturones de seguridad y las bolsas de aire de este coche no funcionan correctamente. Detengámonos por pura precaución».

Diríamos: «Este coche se está precipitando hacia un acantilado. Detente.»

No se trata de «pruebas de seguridad». No es un «riesgo de cola». Los científicos no están preparados para afrontar este desafío. Simplemente moriríamos.