La falta de consenso entre los expertos es un indicio de un campo técnico inmaduro.

Hemos señalado que muchos de los científicos más importantes en el campo de la IA creen que esta tecnología tiene una probabilidad seria de acabar con toda la humanidad. Por ejemplo, el premio Nobel Geoffrey Hinton, quien desempeñó un papel fundamental en el desarrollo del enfoque moderno de la IA, ha dicho que su evaluación personal independiente estima que las probabilidades de que la IA acabe con todos nosotros son superiores al cincuenta por ciento. Más de 300 científicos especializados en IA firmaron la Declaración sobre el riesgo asociado a la IA de 2023 con la que abrimos el libro. (Y hay más ejemplos.)

Sin embargo, otros científicos opinan lo contrario; algunos ejemplos conocidos son Yann LeCun y Andrew Ng.

¿Cómo debemos interpretar esta falta de consenso científico?

Principalmente, te recomendamos que consultes los diferentes argumentos esgrimidos por ambas partes (incluidos los nuestros en el libro) y los evalúes por ti mismo. Creemos que la calidad de la argumentación habla por sí sola, y cualquier intento de explicar por qué hay un desacuerdo persistente debería tratarse como una consideración secundaria.

Sin embargo, señalamos de paso que esta situación no es ningún gran misterio, a la luz de lo que discutimos en los capítulos 11 y 12. La mera existencia de un desacuerdo generalizado entre los expertos no establece la tesis del libro, por supuesto, pero es más congruente con el panorama que hemos descrito —que el campo se encuentra en una fase inicial, similar a la alquimia— que con la imagen opuesta de que la IA es un campo maduro con sólidas bases técnicas.

Sin duda, resulta un poco extraño que el campo de la IA esté tan dividido, incluso cuando está creando una tecnología tan poderosa. Otros peligros tecnológicos suscitaron un mayor consenso. Prácticamente los 100 científicos del Proyecto Manhattan habrían dicho que la guerra termonuclear global presentaba un riesgo sustancial de catástrofe global. Por el contrario, de los tres científicos que recibieron el Premio Turing por la investigación que, en mayor o menor medida, dio inicio a la revolución moderna de la IA, dos de ellos (Hinton y Bengio) se pronuncian abiertamente sobre los peligros de la superinteligencia, mientras que uno (LeCun) se muestra abiertamente escéptico.

Tal nivel de desacuerdo sobre el funcionamiento de una máquina no es normal entre expertos de un campo técnico maduro. Es un síntoma de su inmadurez.

En la mayoría de los campos tecnológicos, esa inmadurez es un signo de seguridad. Cuando los físicos aún discutían sobre las propiedades básicas de la materia, estaban muy lejos de crear armas nucleares. Se podía observar su desacuerdo y deducir que no estaban a punto de crear una bomba capaz de arrasar ciudades. No es posible crear una bomba nuclear sin que los científicos comprendan detalladamente su funcionamiento interno.

La situación sería diferente si los físicos siguieran peleándose por los principios básicos de funcionamiento de su campo mientras crean explosiones cada vez más grandes.

Supongamos que solo estuvieran cultivando las bombas y que realmente no entendieran por qué ni cómo funcionaban. Ahora supongamos que dos tercios de los científicos más condecorados dijeran: «Hemos hecho todo lo posible por averiguar qué está pasando. Parece que las bombas podrían generar cantidades excesivas de radiación cancerígena que matarán a muchos civiles lejanos si seguimos por este camino. Por favor, examinen nuestros argumentos sobre por qué esto es tan peligroso y dejen de precipitarse por este camino». El tercio restante responde: «¡Eso es ridículo! Siempre hay gente que predice desastres, y no se puede permitir que se interpongan en el camino del progreso». Bueno, esa sería una situación completamente diferente.

La discordia entre los científicos en ese tipo de escenario no sería especialmente tranquilizadora. Probablemente no se debería permitir a los ingenieros seguir desarrollando explosivos cada vez más grandes en una situación así.

Las empresas de IA están logrando desarrollar máquinas cada vez más inteligentes, año tras año. No comprenden la mecánica interna de los dispositivos que crean. Muchos de los científicos más eminentes en este campo expresan graves preocupaciones; otros descartan esas preocupaciones sin articular muchos argumentos en contra. Esto es, como mínimo, evidencia de que el campo es inmaduro. La falta de consenso no es, como mínimo, evidencia de que las cosas vayan bien. La falta de consenso en una situación como esta debería ser preocupante, como mínimo.

¿Cómo se puede saber si esas preocupaciones son reales? ¿Cómo se puede saber quién tiene razón entre los que dan la voz de alarma y los que intentan descartarla? Como siempre, solo hay que evaluar los argumentos.