No necesariamente, y eso parece ser un tema aparte.

Si alguien la crea, todos moriremos no habla en absoluto de la conciencia de las máquinas, sino de su inteligencia. Como primer paso para hablar de la conciencia, deberíamos aclarar primero qué tipo de «conciencia» tenemos en mente.

Cuando alguien se pregunta si su perro es consciente, puede referirse a varias cosas diferentes, como:

• ¿Rover realmente entiende las cosas o solo está ejecutando instintos complicados? ¿Está pensando o solo actuando por inercia?
• ¿Es consciente de sí mismo? ¿Sabe que existe? ¿Puede reflexionar sobre su propio proceso mental y construir modelos mentales complejos de sí mismo?
• ¿Tiene experiencias subjetivas genuinas? ¿Tiene su propio punto de vista interno o es simplemente un autómata sin mente? ¿Hay algo parecido a ser mi perro? Cuando me voy por un tiempo, aúlla como si me extrañara; ¿es porque realmente experimenta soledad (o algo por el estilo)? ¿O es más bien como un simple programa informático inconsciente que solo muestra los comportamientos relevantes sin sentirlo realmente?

Podemos plantearnos preguntas similares sobre la IA.

• ¿Tiene ChatGPT una «comprensión real»? Bueno, es capaz de realizar algunas tareas cognitivas muy complejas muy bien, y otras no tan bien. Funciona bien en muchas tareas novedosas con las que nunca se ha topado durante el entrenamiento, tareas que requieren sintetizar y modificar información de forma creativa y novedosa. Así que, en cierto momento, la pregunta de si «realmente comprende» empieza a parecer una discusión sobre definiciones. La pregunta de importancia desde el punto de vista práctico, la que es más relevante para nuestra supervivencia, es qué capacidades reales tienen ahora las IA y qué capacidades es probable que muestren en los próximos meses y años.
• ¿ChatGPT es consciente de sí mismo? Una vez más, ChatGPT parece ser bueno para modelarse a sí mismo en algunos aspectos, y malo en otros. Hay un serio factor de confusión en el hecho de que todo el paradigma que condujo a ChatGPT se centró en hacer cosas que parecieran conscientes de sí mismas, dando el mismo tipo de respuestas que darían los humanos. Se puede discutir si ChatGPT ha superado algunos umbrales importantes en cuanto a la autoconciencia, y se puede discutir qué umbrales hay en el futuro. Pero, tarde o temprano, podemos esperar que existan IA con capacidades prácticas extremadamente potentes para comprenderse y razonar sobre sí mismas: la capacidad de depurarse a sí mismas, de diseñar versiones nuevas y mejoradas de sí mismas, de hacer planes complicados sobre su posición en el mundo, etc.
• ¿Tiene ChatGPT experiencias subjetivas genuinas?

La última de estas preguntas es la más espinosa desde el punto de vista filosófico y da lugar a una serie de preguntas sobre si las IA como ChatGPT son entidades que merecen consideración moral. Discutiremos esos temas más adelante, en los debates ampliados relacionados con el capítulo 5.

Cuando usamos la palabra «consciente», nos referimos específicamente a «tener una experiencia subjetiva» y no a cosas como el automodelado y la comprensión práctica profunda.^*

Nuestra mejor suposición es que las IA actuales probablemente no sean conscientes (aunque cada año estamos menos seguros de eso) y que la experiencia subjetiva no sea necesaria para la superinteligencia.

Pero estas son solo conjeturas, aunque basadas en una cantidad razonable de reflexión y teorización. No creemos que sea en absoluto «tonto» preocuparse por la posibilidad de que algunos sistemas de IA actuales o futuros puedan ser conscientes, o incluso preocuparse por si estamos maltratando gravemente a las IA actuales, especialmente cuando hacen cosas como amenazar con suicidarse después de no haber podido depurar el código.

Cualquier entidad que constituyera una superinteligencia según nuestro criterio sería necesariamente muy buena modelándose a sí misma: pensando en sus propios cálculos, mejorando su heurística mental, comprendiendo y prediciendo los impactos de su propio comportamiento en el entorno circundante, etc. Pero nuestra mejor hipótesis es que la conciencia autoconsciente al estilo humano es solo una forma particular en que una mente puede modelarse a sí misma de manera efectiva; no es un prerrequisito para el razonamiento reflexivo.

La conciencia puede ser una parte importante de cómo los seres humanos son tan buenos manipulando el mundo, pero eso no significa que las máquinas no conscientes sean defectuosas e incapaces de predecir y dirigir el mundo. Los submarinos no nadan de forma análoga a los seres humanos; cumplen la tarea de moverse por el agua de una manera fundamentalmente diferente. Esperamos que una IA sea capaz de tener éxito en los mismos desafíos en los que los humanos tienen éxito, pero no necesariamente que lo haga a través del mismo canal de experiencia subjetiva que utilizan los humanos.

(Véase también el caso análogo de la curiosidad, al que volveremos en el suplemento del capítulo 4).

Dicho de otra manera: la sangre es muy importante en el funcionamiento de un brazo humano, pero eso no significa que los brazos robóticos requieran sangre para operar. Un brazo robótico no es defectuoso como lo sería un brazo humano sin sangre; simplemente funciona de una manera diferente, sin sangre. Nuestra mejor hipótesis es que las superinteligencias de máquina funcionarán de una manera diferente, no consciente, aunque esta hipótesis no es importante para nuestro argumento en el libro.

Nuestro enfoque en Si alguien la crea, todos moriremos está en la inteligencia, donde «inteligencia» se define en términos de la capacidad de un razonador para predecir y dirigir el mundo, independientemente de si el cerebro de ese razonador funciona como un cerebro humano. Si una IA está inventando nueva tecnología e infraestructura y la está proliferando por toda la faz del planeta de una manera que nos mata como efecto secundario, entonces detenerse a preguntar «¿Pero es consciente?» parece algo académico.

Entraremos en más detalles sobre por qué creemos que la predicción y la dirección probablemente no requieren conciencia (y lo que esto significa para cómo debemos pensar sobre el bienestar y los derechos de la IA) después del capítulo 5, una vez que hayamos sentado más bases. Véase «Eficacia, conciencia y bienestar de la IA» para esa discusión.

Notes