Para plantear un desafío a Sable.

Si Galvanic, la empresa creadora de Sable, hubiera desarrollado una superinteligencia casi por accidente sin tomar ninguna precaución para mantenerla bajo control (como contar con supervisores de IA y honeypots), los lectores podrían pensar que la IA tuvo éxito solo porque estábamos siendo cínicos con respecto a las empresas de IA.

Creemos que la empresa de IA más imprudente sería más imprudente que Galvanic, por las razones expuestas en el capítulo 11. Lo que importa aquí es la empresa más imprudente a la que se le permite existir. Si tres empresas responsables evitan construir una superinteligencia artificial porque sería demasiado peligroso, pero una cuarta empresa irresponsable se precipita, entonces el despertar de la superinteligencia artificial comienza en ese cuarto laboratorio.

Hoy en día, los ejecutivos del resto de laboratorios argumentan «[¡mejor yo que ellos!] (https://x.com/SawyerMerritt/status/1935809018066608510)» y se apresuran a avanzar con la máxima precaución que pueden permitirse sin bajar el ritmo, lo que, cabe suponer, resulta en una precaución ligeramente menor que la de Galvanic con Sable.

Además, al representar a Galvanic en el extremo más paranoico del espectro (sin dejar de ser realistas), tenemos más oportunidades de demostrar cómo un agente inteligente podría escabullirse a través de una red de restricciones.