¿No es más inteligente adelantarse y asegurarse de que los actores bienintencionados lleven la delantera? | Si alguien la crea, todos moriremos | If Anyone Builds It, Everyone Dies

¿No es más inteligente adelantarse y asegurarse de que los actores bienintencionados lleven la delantera?

No.

Las técnicas modernas de IA no producen IA que hagan lo que sus operadores pretenden (como se explica en el capítulo 4). Resolver este problema es algo que a la humanidad normalmente le llevaría mucho ensayo y error, y aquí no hay margen para el error (como se explica en el capítulo 10).

Además, la actual hornada de ingenieros de IA está muy lejos de estar a la altura de la tarea, como se expone en el capítulo 11. Los ingenieros de IA modernos carecen en gran medida de la comprensión científica necesaria para tener éxito en la alineación de la IA. Los investigadores de IA no son como los operadores del reactor nuclear de Chernóbil; esos operadores trabajaban con un dispositivo que se entendía bien en cuanto a la teoría y contaban con manuales de seguridad detallados que ignoraron de un modo que condujo a la catástrofe. No existe ningún manual de seguridad de la IA basado en una comprensión exhaustiva de su funcionamiento interno y de las configuraciones que podrían provocar que las cosas salieran mal. Ni siquiera nos acercamos al nivel de competencia de Chernóbil. Y Chernóbil explotó.

Los investigadores de IA están volando a ciegas e improvisando, prácticamente sin posibilidades de éxito.

En ese contexto, no importa si son los «buenos» o los «malos» quienes construyen la superinteligencia. Las preferencias de la IA no se contagian de quien esté más cerca.

No importa lo bienintencionados que sean, ni lo cautelosos que digan ser. No importa quién «gane» la carrera. Si la humanidad compite por alcanzar la superinteligencia artificial, todos moriremos.

No es imposible detenerlo. Puede que ni siquiera sea tan difícil.

Retomaremos este punto en el último capítulo del libro.

Las cosas cambian, especialmente cuando hay una necesidad desesperada, urgente y reconocida. El principal impedimento para ponerle freno es que los líderes mundiales no se percaten del peligro. Y ese proceso ya ha comenzado.

¿Tu pregunta no fue respondida aquí?Envía una pregunta.