Это не поможет, если мы не научим хотя бы одного из них ценить добро.

Как мы писали в Главе 4, путей, ведущих ИИ к странным, чуждым и незапланированным целям — масса. Мы можем создать хоть миллиард ИИ. Это не поможет, если все они будут стремиться к разным, но одинаково нелепым вещам. Нам не выжить, если мы не создадим хотя бы один ИИ, которому по-настоящему важны здоровье, счастье и свобода людей. И важны не на словах, пока он ещё «молод», а на деле. Забота о людях должна быть самым эффективным решением тех задач, которые он (или его потомки) будет выполнять. См. Главу 5.

Умей мы сделать как надо хотя бы один ИИ из десяти, можно было бы наклепать их побольше в надежде, что хорошие экземпляры выторгуют для нас десятую долю Вселенной. Но (см. Главы 2–4) при нынешнем подходе, когда мы «выращиваем» разум, получить ИИ с нужной заботой о людях невероятно сложно. Это не шанс один к десяти. Это «такое не происходит, если точно не знать, как это сделать». Мы и близко не подошли. Даже с миллиардами ИИ, если им всем на нас наплевать, и миллиардной доли Вселенной нам не достанется.