Почему «Galvanic» изображена довольно осторожной?
Чтобы Sable было не слишком просто.
Мы могли бы написать сценарий, в котором «Galvanic» случайно разработали суперинтеллект вообще без мер предосторожности и контроля (вроде ИИ-надсмотрщиков и ловушек). Но читатели могли бы подумать, что Sable преуспел лишь благодаря нашему циничному отношению к ИИ-компаниям.
Мы-то считаем, что самая безрассудная ИИ-компания была бы безрассуднее, чем «Galvanic». (См. подробное объяснение в Главе 11.) Здесь важна самая безрассудная компания, какой позволят существовать. Три ответственные компании могут отказаться переть вперёд, потому что это слишком опасно. Но если четвёртая, безответственная, поспешит, то заря машинного суперинтеллекта наступит именно в её лаборатории.
Сейчас руководители лабораторий рассуждают в духе «лучше мы, чем они!». Они несутся вперёд, проявляя осторожность только пока она не мешает скорости. Предполагаем, получается чуть меньше осторожности, чем у «Galvanic» в нашем сценарии.
Ещё, изображая «Galvanic» скорее параноиками (оставаясь в рамках реализма), мы получили больше возможностей показать, как разумный агент может проскользнуть сквозь сеть ограничений.