¿Cuáles son sus incentivos y conflictos de intereses, como autores?
En general, no esperamos ganar dinero con el libro. Por otra parte, nos encantaría estar equivocados sobre la tesis del libro.**
Nosotros (Soares y Yudkowsky) cobramos nuestro sueldo del Machine Intelligence Research Institute (MIRI), que se financia con donaciones de personas que consideran que estas cuestiones son importantes. Quizás el libro dé un empujón a las donaciones.
Dicho esto, tenemos otras oportunidades de ganar dinero y no nos dedicamos a escribir libros por dinero. El anticipo que recibimos por este libro se destinó íntegramente a su publicidad, y las regalías irán en su totalidad al MIRI en compensación por el tiempo y el esfuerzo que ha invertido su personal.*
Y, por supuesto, ambos autores estarían encantados de llegar a la conclusión de que nuestra civilización no está en peligro. Nos encantaría simplemente jubilarnos o ganar más dinero en otro lugar.
Si la evidencia lo justifica, no creemos que nos cueste trabajo cambiar de opinión. Ya ha ocurrido antes. El MIRI se fundó (bajo el nombre de «Singularity Institute») como un proyecto para construir superinteligencia. Yudkowsky tardó un año en darse cuenta de que esto no saldría bien automáticamente, y un par de años más en darse cuenta de que conseguir que saliera bien sería bastante complicado.
Ya hemos cambiado de rumbo una vez y nos encantaría volver a hacerlo. Pero no creemos que la evidencia lo justifique.
No creemos que la situación sea insalvable, pero sí nos parece que hay un problema real y que la amenaza es extrema si el mundo no está a la altura de las circunstancias.
También vale la pena destacar que, para averiguar si la IA está en camino de matarnos a todos, hay que pensar en la IA. Si solo piensas en las personas, puedes encontrar razones para descartar cualquier fuente: los académicos están desconectados de la realidad; las empresas intentan generar expectación; las organizaciones sin ánimo de lucro quieren recaudar fondos; los aficionados no saben de lo que hablan.
Pero si tomas ese camino, tus creencias finales estarán determinadas por a quién decides descartar, sin dejar que los argumentos y las pruebas te hagan cambiar de opinión en caso de que estés equivocado. Para averiguar la verdad, es indispensable evaluar los argumentos y ver si se sostienen por sí mismos, independientemente de quién los haya planteado.
Nuestro libro no comienza con el argumento fácil de que los ejecutivos de las empresas que dirigen los laboratorios de IA tienen un incentivo para convencer a la población de que las IA son seguras. Comienza analizando la IA. Y más adelante en el libro, dedicamos un poco de tiempo a repasar la historia de los científicos humanos que se han mostrado demasiado optimistas, pero nunca decimos que debas ignorar el argumento de alguien porque trabaje en un laboratorio de IA. Analizamos algunos de los planes reales de los desarrolladores y por qué esos planes no funcionarían por sus propios méritos. Nos esforzamos por plantear un debate sobre los argumentos reales, porque son los argumentos reales los que importan.
Si crees que estamos equivocados, te invitamos a analizar nuestros argumentos y a señalar los puntos específicos en los que crees que nos hemos equivocado. Creemos que esa es una forma más fiable de averiguar qué es cierto que fijarse principalmente en el carácter y los incentivos de las personas. La persona más parcial del mundo puede decir que está lloviendo, pero eso no significa que esté soleado.
* Si el libro rinde lo suficiente como para saldar todas esas inversiones, hay una cláusula en nuestro contrato que establece que los autores podrán participar de los beneficios con MIRI, una vez que MIRI haya recuperado sustancialmente su inversión. Sin embargo, MIRI ha dedicado tantos esfuerzos a ayudar con el libro que, a menos que este supere con creces nuestras expectativas, nunca veremos ni un centavo.