El poder de prohibir tecnologías peligrosas ya recae en los gobiernos.

Prohibir la investigación encaminada a desarrollar una IA más inteligente que los humanos no supondría una gran diferencia en lo que respecta al poder del Estado. Los gobiernos legislan y regulan una cantidad enorme de cosas. Restringir un solo programa de investigación puede ser muy importante para la industria de la IA, pero es una gota en el océano para los gobiernos y la sociedad, que están acostumbrados a la intervención estatal en muchos aspectos de la vida y que tienen el precedente de prohibir tecnologías peligrosas, como las armas químicas.^*

Prohibir una tecnología más no va a sumir al mundo en el totalitarismo, como tampoco lo hicieron los tratados sobre armas nucleares.

Esto no quiere decir que prohibir una tecnología no sea gran cosa. No creemos que la vara para la intervención estatal deba estar baja. Más bien, creemos que la superinteligencia supera fácilmente cualquier vara razonable.

Si la humanidad decidiera poner fin a la investigación y el desarrollo de la IA hoy, la prohibición no tendría por qué ser especialmente invasiva. En la actualidad, la creación de una IA de vanguardia requiere una cantidad extraordinaria de chips informáticos altamente especializados que consumen enormes cantidades de energía eléctrica.

Quizás dentro de diez años sea posible desarrollar una IA significativa en una computadora portátil de consumo, si la humanidad permite que se sigan mejorando los chips informáticos y se siga haciendo investigación en algoritmos de IA. Pero la humanidad no tiene por qué permitir que eso suceda. Los gobiernos que limitan la I+D en IA no tienen por qué ser más invasivos en la vida de la persona promedio que los gobiernos que controlan la proliferación de la tecnología de armas nucleares, siempre y cuando el mundo tome conciencia de la situación en la que nos encontramos y le ponga fin a esto ahora mismo.