Las personas felices, sanas y libres no son la solución más eficiente para casi ningún problema.

Una vez que eres una superinteligencia, casi ningún problema se beneficia de incluir a los humanos en la mezcla.

Si estás construyendo una central eléctrica o diseñando un experimento, los humanos solo te ralentizarán.

Ya hemos empezado a ver que esto es cierto en ámbitos específicos como el ajedrez. Cuando las IA forman equipo con humanos, juegan mejor que un humano solo, pero peor que una IA sola. Cuando los médicos combinan su conocimiento con la IA para diagnosticar pacientes, a menudo lo hacen peor que la IA sola.

Algunos argumentan que la diversidad de perspectivas es naturalmente útil y que, por lo tanto, el aporte humano será valioso en muchos ámbitos. Pero incluso si asumimos que esto es cierto para las superinteligencias, los humanos no son la mejor manera posible de producir asesoramiento diverso. Una superinteligencia podría hacerlo mejor diseñando una amplia gama de mentes de IA, que podrían ser mucho más diversas que los humanos (y mucho más eficientes en términos de uso de energía).

Los humanos son útiles para muchas cosas, pero no son la mejor solución para la mayoría de esas cosas. La idea de que la IA nunca podría encontrar una mejor opción parece provenir de una mezcla de falta de imaginación más pensamiento optimista.

Un problema común que vemos es que la gente no piensa las cosas desde la perspectiva de la IA.

No se preguntan: «¿Qué quiere esta cosa y cómo puede conseguir más de eso, de forma barata y eficiente?», para luego descubrir que los resultados deseables para los humanos resultan ser la mejor manera posible para que la IA consiga lo que quiere.

En cambio, la gente está empezando con un resultado agradable (como un mundo en el que las IA nos mantienen vivos) para luego inventar historias post hoc sobre por qué una IA también podría querer esos resultados.

Hacer esto tiende a crear una falsa sensación de optimismo, porque estás poniendo toda tu creatividad y energía mental en idear historias donde la IA hace exactamente lo que los humanos quieren, y no estás poniendo nada de esa creatividad, energía o atención en considerar el número inmensamente mayor de escenarios donde la IA hace una de un millón de otras cosas en su lugar.

Hay muchos más escenarios en los que la IA hace literalmente cualquier otra cosa que escenarios en los que construye una civilización humana próspera. Hay muchas más razones que empujan a la IA a no conservar a la humanidad que razones que la empujan a conservarla. Para que una IA se tome la molestia de mantener a la humanidad, tendríamos que ser la mejor manera de que logre alguna de sus preferencias. Y, siendo realistas, para casi cualquier preferencia que podamos imaginar, no lo somos.

Para más información sobre estos temas, consulta el debate ampliado a continuación.