[综合]超级智能：人工智能夺权不仅仅是科幻

图片：Img411070173.jpg

书名：超级智能
出版社：中信出版社
作者：【英】尼克•波斯特洛姆（Nick Bostrom）
内容简介：
当机器智能超越了人类智能时会发生什么？人工智能会拯救人类还是毁灭人类？
作者提到，我们不是这个星球上速度最快的生物，但我们发明了汽车、火车和飞机。我们虽然不是最强壮的，但我们发明了推土机。我们的牙齿不是最锋利的，但我们可以发明比任何动物的牙齿更坚硬的刀具。我们之所以能控制地球，是因为我们的大脑比即使最聪明的动物的大脑都要复杂得多。如果机器比人类聪明，那么我们将不再是这个星球的主宰。当这一切发生的时候，机器的运转将超越人类。
人类大脑拥有一些其他动物大脑没有的功能。正是这些独特的功能使我们的种族得以拥有主导地位。如果机器大脑在一般智能方面超越了人类，那么这种新兴的超级智能可能会极其强大，并且有可能无法控制。正如现在大猩猩的命运更多的掌握在人类手中而不是自己手中一样，人类未来的命运也会取决于机器超级智能的行为。
但是，我们有一项优势：我们有机会率先采取行动。是否有可能建造一个种子人工智能，创造特定的初始条件，使得智能爆发的结果能够允许人类的生存？我们如何实现这种可控的引爆？
作者相信，超级智能对我们人类将是一个巨大的威胁。在这本书中，作者谈到了超级智能的优势所带来的风险，也谈到了人类如何解决这种风险。作者认为，他的这本书提到的问题将是我们人类所面临的最大风险。
这本书目标宏大，且有独创性，开辟了人工智能领域的新道路。本书会带你开启一段引人入胜的旅程，把你带到对人类状况和智慧生命未来思索的最前沿。尼克•波斯特洛姆的新书为理解人类和智慧生命的未来奠定了基础，不愧是对我们时代根本任务的一次重新定义。
作者简介：
尼克‧波斯特洛姆，全球著名思想家，牛津大学人类未来研究院的院长，哲学家和超人类主义学家。其学术背景包括物理、计算机科学、数理逻辑以及哲学，著有大约200种出版物，已经被翻译成22种语言。曾获得尤金‧甘农（Eugene R. Gannon）奖（该奖项的获得者每年只有一名，他们来自哲学、数学、艺术和其他人文学科与自然科学领域）。
书摘正文：
序言
在你的颅腔里，有个器官能够阅读。这个器官就是人的大脑，它具有其他动物大脑没有的一些能力，而我们在地球上的主宰地位便归功于这些独特的能力。其他动物有更强壮的肌肉或更锐利的爪子，但是我们有更聪明的大脑。我们在一般智能方面的些许优势使我们创造了语言，发展了科技，并建立了复杂的社会组织。这种优势随着时间的延续而不断提高，因为每一代人的成就都建立在前人的成就之上。
如果有一天我们发明了超越人类大脑一般智能的机器大脑，那么这种超级智能将会非常强大。并且，正如现在大猩猩的命运更多地取决于人类而不是它们自身一样，人类的命运将取决于超级智能机器。
然而我们拥有一项优势：我们清楚地知道如何制造超级智能机器。原则上，我们能够制造一种保护人类价值的超级智能，当然，我们也有足够的理由这么做。实际上，控制问题—也就是如何控制超级智能，似乎非常困难，而且我们似乎也只有一次机会。一旦不友好的超级智能出现，它就会阻止我们将其替换或者更改其偏好设置，而我们的命运就因此被锁定了。
在本书中，我将努力诠释可能出现的超级智能带来的挑战，以及我们如何更好地应对。这很可能是人类面对的最重要和最可怕的挑战。而且，不管我们成功还是失败，这大概都是我们将要面对的最后一个挑战。
本书并不认为，我们即将在人工智能方面取得重大突破，或者能够准确预测突破会在何时发生。突破有可能会在21世纪的某些时候实现，但是我们并不能确定。本书的前几章讨论了取得突破的可能途径，并谈论了何时能够突破的问题。然而，本书的主要部分讨论的是智能爆发以后会发生什么。我们会研究智能大爆发的动力学，超级智能的形式和能量，以及具有决定性优势的超级智能体有哪些战略选择。然后，我们探讨的重点转向控制问题，并提出为了让我们生存并且获得有利的结果，我们如何选择初始数据的问题。在本书的结尾，我们将画面拉远，思考我们的研究所呈现的更大的图景。最后提出了一些建议，指出为了增加避免存在性灾难的概率，我们现在可以做些什么。
我希望本书可以开辟出一条道路，以使其他研究者能够更加快速和便捷地到达这个领域的前沿，从而以全新的视角加入这项研究，进一步扩展我们的认识。（如果我铺的这条道路有点崎岖不平，那么我希望评论家们在评判结果时，不要低估原来地势的险恶情况！）
这本书写起来并不容易。我努力使其读起来容易，但是我觉得可能并没有做到。写作时，我把早前时间切片（time-slice）里的自己当作目标读者，并尽量把书写成自己喜欢阅读的类型。虽然这可能会导致读者群较窄，但我还是认为书中的内容对很多人来说都是能够理解的，前提是他们对书中的内容进行一些思考，同时拒绝盲目地将任何一个新观点误解为他们文化中相似而陈旧的观点。非科技专业的读者不必因为书中偶尔出现的数学知识或专业术语感到气馁，因为往往可以通过上下文的解释看懂主要观点。
本书提出的很多观点可能是不恰当的，而有些非常重要的观点我可能也没有考虑到，从而削弱了我的某些或者所有结论的有效性。我已经尽可能地在全书中指明细微差别和不确定性—书中遍布着太多的“可能”、“或许”、“也许”、“也有可能”、“看起来”、“大概”、“非常可能”、“几乎肯定”这样的词。每个限定词的使用都是经过深思熟虑的。然而，这些字眼所体现出的认识方面的谦虚谨慎依然是不够的，还必须要补充对不确定性和易错性的整体说明。这不是虚伪的谦虚，因为虽然我相信我的书中可能有一些较严重的问题和误导性，但是我认为目前书中提到的其他观点更加糟糕，包括默认观点或者所谓的“零假设”，这些观点认为我们可以暂时安全地或合理地忽略超级智能出现的可能性。
第二章 通往超级智能之路
虽然目前在一般智能方面，机器远远不如人类。然而，我们认为，机器终有一天会变得超级聪明。那么，如何使机器拥有超级智能呢？本章将探讨几种可能的技术路径，比如人工智能、全脑仿真、生物认知、人机交互，以及网络和组织，并且评估每种路径实现超级智能的可行性。由于目前存在多条技术路径，因此至少有一条路径能实现超级智能的可能性很大。
我们暂时可以将超级智能定义为：在几乎所有领域远远超过人类的认知能力。我们将在下一章深入探讨超级智能的概念，并运用光谱分析的方法来区分超级智能的几种可能形式，本章暂且只提出一个粗略的描述。注意，这个描述性定义并未体现超级智能是如何实现的，也没有讨论有关人文感受的问题，比如超级智能对某些问题（特别是一些道德问题）是否具有主观意识经验。相比而言，我们现在的主要关注点是超级智能的因果问题，而非形而上学之类的问题。
根据这个定义，国际象棋程序（Deep Fritz）并不能算作超级智能,因为它只在棋类这一狭窄的领域内表现出智能，尽管在特定领域内展现出智能也是很重要的。当仅在某个特定的领域提到超级智能，就应该明确地将其限制在该领域。例如,“工程超级智能”便只是在工程学领域的智能大大优于人类思想的智能。除另外注明，本文中的超级智能都是指全面领域内超过一般智能水平的智能系统。
但是如何创建超级智能呢？让我们研究一些可能的路径。
人工智能
读者不要指望通过阅读本章就得到一套人工智能的制作蓝图，当然，也不存在这样的蓝图。假如我能绘制出这样一张蓝图，我也不可能把它写在一本书里（我会在后续章节里说明原因）。
然而，我们能够找出人工智能系统所要求的一般特征。我们现在可以很清楚地看到，人工智能系统的核心特征是获知能力，而非事后诸葛亮，以及有效处理不确定性和概率信息的能力。在现代人工智能理论中，一些学者希望通过研究信息传递的过程及人脑内部构造来研究人工智能，以此获取有用的概念，并利用这些概念创造可进行逻辑推理的智能，这种能力很可能是现代人工智能达到全面领域智能水平的核心要素。
早期“出色的老式人工智能”理论并没有着重研究习得行为、非确定性因素及概念形成，是因为当时的技术水平无法分析处理这几种维度。但是研究知识习得有助于研究人工智能的特征，这种例子可追溯到阿兰•图灵在1950年写到的“儿童思维机器”的概念：
与其编写一个模拟成人思维的程序，为何不编写一个模拟儿童习得新知识的程序呢？如果这个儿童习得程序是可模拟的，它终究会通过有效学习，演变成一个与成人大脑智能水平一致的思维程序。
图灵设想迭代开发这种“儿童思维机器”：
第一次实验的结果可想而知—不可能产生出成熟的“儿童思维机器”。不断实验才能筛选出更加优良的机器，这个过程可以比作人类的繁衍与进化，但是实验筛选总比自然繁衍进化得快，毕竟适者生存理论需要大量的时间。若图灵能追踪并排除缺点出现的原因，他或许可以采用基因突变的方式来优化他的“儿童思维机器”。
由人类进化史可知，盲目的进化过程只能产生一般智能，而人工智能进化实验可以大大提高正向选择的效率。这一观点已经被一些哲学家和科学家，包括大卫•查默斯和汉斯•莫拉维克所认同,他们认为人类智能水平的人工智能不仅在理论上说得通，而且有望在21世纪内成为现实。
我们可以预见进化的可能性及人体工程学终将创造出人工智能，而且现实情况是，人体工程学在某些领域已经大大优于进化结果，而其在这些领域中还有加速发展之势。因此进化可以产生智能这个事实表明，人类工程学也将达到同样的效果。因此，汉斯•莫拉维克写道（追溯到1976年）：
在现有的有限条件下，已设计出的几种人工智能的案例让我们有信心认为，我们很快也会创造出和进化结果相同的人工智能。这和人类制造（比空气重的）飞行器的历史类似，我们曾参考鸟类、蝙蝠、昆虫的飞行经验来制造飞机，这些例子都是我们所熟知的。
对于按照以上这种推理过程获取的经验所揭示的结论，研究人员需要谨慎对待。生物进化确实产生了比空气重的飞行动物，随后，人体工程师便成功地制造出类似的物体（虽然应用的是完全不同的原理）。类似的例子不胜枚举,如声呐、磁导航、化学武器、光感受器，以及大多数机械与动力学设备。然而，人们也能找出人体工程学远不如进化领域的例子，比如胚胎形成、自我修复和免疫防御等，在这些领域里，人类技术远不如自然进化。因此再看汉斯•莫拉维克的观点，即“在现在的有限条件下，已设计出的几种人工智能的案例让我们有信心认为，我们很快也会创造出和进化结果相同的人工智能”，就会发现，我们的信心没那么大，时间也没那么快。最好的情况是，智能生命的进化为设计智能的内在困难设定了上限，但是，这个上限远高于当前人体工程学所及的能力。
另一种将进化理论应用于人工智能的方法是在足够快的计算机上运行遗传算法，以得到类似生物进化的结果，这种进化理论为创造人工智能提供了独特的方法。
人类将来能制造出这种运算能力足以处理庞大的生物进化数据的超强计算机吗？这取决于两个因素，即未来几十年计算机技术的发展，以及与在过去进化史中自然选择最优化力相同的情况下，运行遗传算法对计算机计算能力的需求。令人失望的是，沿此逻辑推断的结论并不确定，不过还是可以大致估计一下（见延伸阅读3）。即使不能得出什么结论，这一实践也能引起人们对一些有趣的未知领域的关注。
延伸阅读3.进化概述
人类智能的进化要经历很多重要过程，但不是每一步都与正试图使机器智能进化的人体工程师有关。地球上的进化选择中只有一小部分是为了智能选择。具体来说，人体工程师希望攻克的难题就是全部进化选择中的这一小部分。例如，由于计算机可以依靠电力运行，所以我们也不必为了创造智能机器而改造细胞的分子结构来获得能量—而这种新陈代谢路径上的细胞进化，可能已经用掉了地球进化历史中选择能量的一大部分。
有人可能会认为，人工智能的关键是神经系统结构，这个神经系统在10亿年前即已形成。如果根据这个时间节点，那么相关“实验”的数量便可以大大减少。因为现在地球上有4×1030~6×1030个原核生物，但只有1019只昆虫，不到1010个人（人类开始耕作之前的人口远没达到这个数量级）。这些数字还不算太惊人。
然而，进化算法（evolutionary algorithms）不仅要求筛选所需的变量，还需要评估变量的适应度函数（.tness function），而这种算法所需要的计算机组件是最贵的。人工智能进化对应的适应度函数需要模拟神经系统、习得新知识并且拥有评价适应度的认知能力。因此，我们最好不要关注有复杂神经的有机体的原始数量，而是要关注我们模拟进化适应度函数所需的生物机体中的神经元数量。昆虫的脑容量差别很大，体积较大的昆虫和社会性昆虫的大脑相对更大：蜜蜂的大脑有106个神经元，果蝇的大脑有105个神经元，蚂蚁则介于二者之间，有25万个神经元。大部分较小的昆虫只有几千个神经元。如果我们适当高估研究对象的神经元数量，假设有1019个果蝇，每个果蝇有105个神经元，那么地球上总计就有1024个神经元。水生桡足类动物、鸟类、爬虫类、哺乳类动物的神经元数量是1025。（在农业时代之前，有不到107个人，每个人有1011个神经元，共计1018个人类神经元，但是人类每个神经元的突触数量则比其他生物要多得多。）
模拟一个神经元的计算成本取决于模拟的细节。即使是一个非常简单的神经元模型，要模拟一个神经元（在真实时间里）每秒钟也要进行1 000次浮点运算（1 000FLOPS）。霍奇金–赫胥黎（Hodgkin-Huxley）生物电模型需要1 200 000FLOPS。更加细致的多隔室模型可能要多3~4个数量级，然而抽象神经元系统更高级的模型则可以从简单模型里减掉2~3个数量级。如果模拟10亿年进化产生的1025个神经元，并且我们让计算机运算一年，就要求1031~1044FLOPS。中国天河2号（截至2013年9月）是世界上最强大的超级计算机，但也仅能达到3.39×1016FLOPS。近几十年，商用计算机用了6.7年才提高了一个数量级的运算能力，就算摩尔定律再继续适用一个世纪，也不足以弥补其中的差距。即使用更好的硬件，运行更长时间，也只能多支持几个数量级的数据运算。
另一方面，这也是保守的数字。进化在没有目的的情况下，实现了人类智能。换句话说，自然机体适应度函数不只是为了智能和其前体而选择。即使是有着能处理更高级信息并且总是从中受益的有机体的环境可能都不会选择智能，因为智能的提高需要付出很大代价，比如更高的能量消耗和更长的成熟周期。在这种情况下，成本大于利益。而险恶的环境也会降低智能的价值：个体的生命越短，能用来提高学习能力的时间就越少。降低的智能选择压力减缓了智能提升革新的传播速度，以及依赖此革新的其他选择的机会。如前面所提到的，进化会将选择权力分散在与智能无关的很多特征上，比如免疫系统与寄生物之间竞争的共同进化的红皇后效应（Red Queen Effect）。进化继续浪费着资源去产生致命的突变，并且没有利用不同突变效果带来的数据相似性的优势。这些都是自然选择中效率低下的现象。当工程师使用进化算法开发智能软件时，则可以相对容易地回避这种低效现象。
消除上述低效现象的做法能将早先计算的1031~1044FLOPS降低很多个数量级，这似乎是有可能的。不幸的是，要想获悉究竟是多少个数量级则比较困难，甚至做个大体的估算也不太容易。就我们所知，提升效率能够节约5个、10个或25个数量级。
结果是用来简单复制地球上进化出人类水平智能的过程所需的计算机能力严重不足，而只要21世纪内摩尔定律不被打破，计算机能力在短时间内仍会处于不足的状态（见图2–1）。相比简单模拟或复制自然进化过程，设计一个有效而严密的实验相对来说可操作性更强。但是很难界定可得到的有效性的数量级，我们甚至不能说这个数量级的范围在5~25之间。由于缺乏进一步实验，关于进化的辩论并不能限制我们的预期，不论是判断人类水平机器智能的制造困难程度，还是取得这样的发展所需的时间。
这种进化上的考虑非常复杂，很难给智能进化的困难程度设定一个哪怕是非常宽松的上限。我们不能根据智能生命在地球上进化的事实就推断出，这一进化过程产生智能的先验概率会非常高。由于没有考虑到确保所有观察者知道自己来自智能生命出现的星球（不管此类星球有没有可能产生智能）的观察选择效应，所以该推断并不合理，必须避免这种错误。举个例子，假设除了自然选择的系统效应外，需要相当大数量的幸运巧合来制造智能生命—足够多的巧合才能让智能生命在1030个星球之一的地球上通过基因复制和进化而来。在这样的情况下，当我们运行遗传算法模拟自然进化过程时，或许发现我们必须运行1030种模拟模型，才能找到一种所有要素以恰当的方式组合匹配的模型，它似乎才完全符合生命在地球上进化诞生的事实。只有通过仔细和有些复杂的推理—通过分析与智能相关之特征的趋同进化，并充分重视观察选择理论（observation selection theory）的精妙，我们才能部分避免认识论上的局限。除非我们不畏困难，否则就不能排除这个可能性，延伸阅读3中的智能进化所要求的计算能力如果在30个数量级—所谓的上限，进化速度就太慢了。
第七章 超级智能的意愿
我们已经看到，超级智能可以拥有极大的根据自己的目标塑造未来的能力。但是，它的目标会是怎样的？一个人工智能体的智能与动机之间是什么关系？这里我们设想了两种论点。正交性论点认为，智能和最终目标是独立变量，任何水平的智能都可以搭配任何最终目标。工具性趋同论点认为，不管超级智能具有一系列最终目标中的哪种，都将选择相似的中间目标，因为它们有这么做的共同工具性理由。通过这两种论点，我们就可以思考一个超级智能体想要做什么的问题了。
智能与动机的关系
我们已经警告过，不要将超级人工智能的能力拟人化。这个警告同样适用于对其动机的思考。
在进行本部分的探讨之前，有必要进行一些预先思考。我们首先来思考一下心智空间可能的广度。在这个抽象空间中，人类心智只构成极其微小的一部分。设想有完全不同的两个人—也许是汉娜•阿伦特和班尼•希尔，他们两人之间的性格差异看起来已经达到了最大程度。但这是因为我们的直觉建立在我们自身经验的基础之上，而这些经验来自于目前存在的人类分布（在一定程度上还包括一些虚构的人物，人类通过想象力创造出这些人物，用来娱乐自己的想象力）。如果我们把画面拉远，思考所有可能的心智空间，我们就必须将这两人视为完全一样。当然，阿伦特女士和希尔先生的神经结构是几乎一模一样的。想象他们的大脑并排静置，你一定会认为它们属于同一个种类。你甚至可能无法辨别出哪个大脑属于谁。如果你更仔细地观察，在显微镜下研究两个大脑的形态，你会发现这种基本相似性更高：你会看到他们的大脑皮质具有相同的沟回结构，由相同类型的神经元组成相同的脑区，浸泡在相同的神经递质中。
尽管人类心理只相当于可能心智空间的极小一部分，人们也很容易就把人类特质投射到各种外星或人工认知系统上。尤德科夫斯基巧妙地解释了这一点：
在低俗科幻小说时代，有时候杂志的封面会描绘一个科学怪物（通俗叫法是大眼怪）抢走一名漂亮的、裙子被撕破的人类女性的情景。绘画者似乎认为，尽管非类人外星生物具有完全不同的进化历史，也会对人类女性产生性欲……绘画者大概没有问过一个大虫子是否会觉得人类女性很迷人，而只是自己认为穿着被撕破的裙子的人类女性很性感—本质上就是这样，其是一种内在属性。他们犯了这样的错误：没有考虑类虫生物的心智，反而把重点放在了女性撕破的裙子上。如果裙子不是破的，那么女性的性感就会少一点儿。他们完全没有考虑到大眼怪。
与一个绿色有鳞的外星生物相比，人工智能的动机会与人类的动机相差得更远。（我们假设）这个外星生物是一种经过进化过程产生的物种，因此可以想象它具有经过进化的生物通常具有的一些动机。比如，如果发现某种外星智能生物拥有与食物、空气、温度、能量消耗、身体损伤的发生或威胁、疾病、捕食、性或后代相关的动机，我们并不会觉得特别惊奇。社会性智能生物的成员还可能具有与合作或竞争相关的动机。和我们一样，它们会表现出集团内部的忠诚、对搭便车者的厌恶，甚至是与名誉和外貌相关的虚荣。

图片：Img411070174.jpg

相比之下，人工智能本质上不需要关注任何这些东西。如果某个人工智能的唯一最终目标就是数清长滩岛上沙粒的数量，或者计算圆周率的小数位数，又或者是使其未来光锥里曲别针的数量最大化，都不算荒谬。事实上，与建造拥有和人类相似的价值观和性情的人工智能相比，建造拥有简单目标的人工智能要更容易。对比一下就可以知道：编写一个测量圆周率已经被算出多少位和存储该数据的程序是多么容易，而创造一个能够准确测量更加有意义的目标（比如人类繁荣或者全球正义）实现程度的程序则有多么困难。不幸的是，由于没有意义的、简单的目标更易于人类编写和人工智能学习，所以如果程序员在意的是用最快的途径“使人工智能能够工作”（并不特别关心人工智能将具体做什么，只要能够展示惊人的智能行为就够了），那么他就会选择将这种目标加载到种子人工智能中。我们一会儿将再次对此进行讨论。
对工具性最优方案和策略的智能探索可以用于任何一种目标的实现。在某种意义上，智能和动机是正交的：我们可以将其视为一张图的两条轴线，图里的每个点都代表一个逻辑上可能的人工智能体。这张图还需要增加一些限制。例如，一个非常不智能的系统拥有非常复杂的动机，也许是不太可能的。为了说明某个特定系统“拥有”一系列动机这个说法是正确的，这些动机大概就需要与系统的决策过程进行有效整合，而该决策过程对记忆、信息处理能力，也许还包括智能都有要求。对于能够自我修改的智能来说，可能还有动态约束—一个能够自我修改的智能如果有变笨的急迫愿望，那么它就不会聪明太久。但是，不能让这些限制扰乱关于智能和动机独立性的基本观点，这个观点可以表述如下：
正交性论点
智能和最终目标是正交性的：原则上，几乎任何水平的智能都能与几乎任何最终目标相结合。
如果正交性论点看起来有问题，那么这可能是因为该论点与一些长期受到争议的传统哲学观点有表面上的相似性。一旦明白了该论点与这些传统哲学观点有所不同，而且范围更窄，那么其可信度就会提高。（例如，正交性论点不赞同休谟的动机理论，也不认为基本偏好不能是非理性的。）
注意，正交性论点论及的不是合理性或理性，而是智能。这里我们所说的“智能”类似于预测、策划以及手段—目的推断等技能。当我们试图理解机器超级智能的影响时，这样理解工具化认知有效性最有帮助。即使从“理性”这个词的某种意义上讲，旨在使曲别针数量最大化的超级智能体一定不会符合完全理性的标准，也不能排除这个超级智能体会拥有非常强大的工具性推理能力，而这种能力将有助于它对世界产生巨大影响。
根据正交性论点，人工智能可以有完全非拟人化的目标。然而，这并不意味着无法预测特定人工智能，甚至是假想的超级智能（其认知复杂性和性能特征可能会使它们在某些方面给人类的分析造成困难）的行为。要解决预测超级智能动机的问题，至少有三种方式：
. 通过设计实现可预测性。如果我们假设超级智能体的设计者成功地设计了超级智能的目标系统，使其能够稳定地追求程序员设置的特定目标，那么我们就能做出这样的预测：超级智能会追求这个目标。超级智能越是智能，就越会有较强的认知能力去完成这个目标。所以，甚至在一个智能体被建造之前，如果我们知道它的建造者是谁以及他们想要它实现哪些目标，也许我们就能够对其行为进行一定的预测。
. 通过遗传实现可预测性。如果数字智能直接建立在人类模板的基础上（如高保真全脑仿真系统的情况），那么其可能就会遗传人类模板的动机。即使系统的认知能力随后会得到提高而成为超级智能，它也可能会保留人类的一些动机。做出这样的推断需要特别谨慎，因为系统的目标和价值观在上传或者后续的运行和升级过程中（这取决于程序的实施方式），很容易被篡改。
. 通过工具性趋同理由实现可预测性。即使不知道一个系统最终目标的详细情况，我们也能够通过思考适用于各种情况下可能出现的各种最终目标的工具性理由，对更直接的目标进行一些推测。系统的智能越强大，这种预测方式就越有用，因为更智能的系统更有可能识别出其行为的真实工具性理由，然后以更加可能实现目标的方式行动。（这里有一个警告：可能有一些重要的工具性理由是我们无法认知的，而系统一旦到达某一高度的智能水平，就能够将其识别。这会导致超级智能体行为的可预测性降低。）
下面一节将详细阐述第三种预测方式，并提出工具性趋同论点，以作为对正交性论点的补充。在这个背景下，我们能够更好地审视另外两种预测方式。在后面的几章中，我们将讨论可以怎样制造一次智能爆发，以便提高产生有利结果的可能性。
工具性趋同
第十四章 战略图景
路径与促成因素
我们应该庆祝计算机硬件的发展吗？全脑仿真领域的发展呢？我们将依次分析这两个问题。
硬件进步的影响
速度更快的计算机会使建造机器智能变得更容易。因此，加快硬件进步的一个影响就是加快机器智能的到来。正如之前所述，从非人类视角来看，这大概是一件坏事，因为这使得可以用来解决控制问题和提高人类文明成熟度的时间减少了。但是，这也不是那么简单的事。因为超级智能会消除很多其他存在性风险，所以如果其他存在性风险很高的话，就有理由选择更快的发展。
加快或推迟智能爆发的发生并不是硬件进步的速度影响存在性风险的唯一途径。另一个途径是，硬件可以在某种程度上替代软件；因此，改良的硬件就会降低编写种子人工智能代码所要求的技能下限。快速计算机还可能会导致增加对蛮力技术（比如遗传算法和其他“生成—评价—废弃”模式的方法）的依赖，同时减少对需要深入理解的技术的依赖。如果蛮力技术应用于更加无秩序的或不精确的系统设计（与精确设计和理论上受约束的系统相比，这样的系统的控制问题更难解决），那么这也是快速计算机增加存在性风险的一个方式。
另外一个考虑是，迅速的硬件进步会增加快速启动的可能性。半导体领域的发展速度越快，用于开发任何性能水平的计算机实力所需的程序员的人时 就越少。这意味着，智能爆发不太可能以可行的最低水平的硬件性能启动，而是更有可能在硬件发展已经远远超过了能够使正确的编程最终获得成功的最低水平时启动。这样的话，当启动开始时，硬件水平是超出所需的。正如我们在第4章中看到的，硬件突出是在启动阶段降低反抗度的主要因素之一。因此，快速的硬件进步将有可能使得向超级智能的转变更加迅速，更具爆发性。
借助硬件突出的快速启动可以通过不同的方式，对转变的风险施以影响。最明显的方式是，快速启动会使转变过程中进行反应和调整的机会减少，从而增加风险。一个相关的考虑是，硬件突出可以通过限制其开拓充足硬件的能力，对以危险的方式进行自我改良的种子人工智能实施约束：单个处理器的速度越快，人工智能用来快速升级到超级智能所需要的处理器数量就越少。硬件突出的另一个影响是，大型工程具有的一个优势是能够获得更加强大的计算机，而硬件突出会降低这项优势的重要性，从而使大型工程和小型工程之间的差距减小。如果与小型工程相比，大型工程更有可能解决控制问题并追求符合道德的目标，那么这种影响也可能会提高存在性风险。
快速启动也有一些优势。它可能会增加形成单一体的可能性。如果建立单一体对于解决后过渡时期协调问题具有足够的重要性，那么为了降低后过渡时期灾难性协调问题的风险，在智能爆发阶段承受更大的风险就可能是值得的。
计算机科学的进步会影响机器智能革命的结果，这不仅可以通过在机器智能的建造过程中发挥直接影响，而且还可以通过对于用间接方式塑造智能爆发的初始条件的社会产生弥漫性影响来实现。要形成互联网，就需要足够好的硬件，使个人计算机能够以低廉的价格大规模生产。现在，互联网正在影响人类活动的很多方面，包括人工智能和控制问题的研究。（如果没有互联网，可能就不会有这本书的产生，你也不会找到它。）然而，硬件现在已经足够好到可以运行大量的应用，正是这些应用促进了人类的交流和商讨，但目前还不清楚这些领域的进展速度是否受到硬件改良速度的严重制约。
总的来说，从非个人的评价立场来看，计算机硬件的快速发展似乎是不利的。这个暂时性结论可能会被推翻，例如，如果来自其他存在性风险或后过渡时期协调问题的威胁最终被
人时，即一个人一天完成的工作量。—编者注
证明是极其巨大的话。不管怎样，要想对硬件发展的速度产生很大影响，似乎很难做到。所以，如果我们想要改善智能爆发的初始条件，就应该关注其他因素。
需要注意的是，即使我们不知道如何影响某个因素，能够确定它的“正负值”（也就是这个因素的增加还是降低是有利的），作为绘制形势的战略图景的初步举措，也是有用的。我们后来可能会发现新的、能够更容易影响该因素的方法，也或者我们可能会发现这个因素的正负值与其他更容易控制的因素之正负值相关，这样，我们最初的分析就能够帮助我们决定如何处理这个因素。
应该提倡全脑仿真研究吗？
解决人工智能的控制问题看起来越困难，就越会想要提倡全脑仿真途径，作为一种风险更小的选择。然而，在得到周全的结论之前，我们必须先对某些问题进行分析。
首先是我们之前已经讨论过的技术耦合问题。我们已经指出，致力于发展全脑仿真的研究可能会导致神经形态人工智能的产生，而神经形态人工智能是一种非常不安全的机器智能形式。
但是为了讨论的需要，我们假设已经实现了全脑仿真。它会比人工智能更安全吗？这本身就是一个复杂的问题。全脑仿真至少有三个推定的优势：1.与人工智能相比，我们对它的性能特征有更多的理解；2.它会继承人类的动机系统；3. 它会导致更慢的启动。让我们对每一点进行简短的讨论。
1. 与人工智能相比，全脑仿真的智能性能特征更容易理解。这听起来是合理的。关于人类智能的优点和缺点我们有大量的经验，关于人类水平的人工智能的智能特征我们却没有任何经验。然而，要理解数字人类智能能够和不能够做什么，并不等同于理解这个智能在面对旨在提升其性能的修改时会有什么样的反应。与此相反，人工智能可以精心被设计成可理解的，包括其静态特征和动态特征。因此，虽然在具有可比性的发展阶段，全脑仿真的智能性能比人工智能更具可预测性，但是我们不知道全脑仿真的动态可预测性是否高于由具有安全意识的优秀程序员设计出的人工智能。
2. 至于说全脑仿真继承了其模板大脑的动机系统，这是远不能得到保证的。获得人类的评价特征可能需要非常高保真的模拟。即使某个人类个体的动机系统得到了完美的捕捉，也不能确定其获得了多大的安全性。人类可以是不值得信任的、自私的、残暴的。尽管在选择模板时会选择道德上最优秀的，但是要判断一个人在被移植到完全不同的环境中、获得超人类的智能并得到了统治全球的机会之后如何行为，可能会是非常困难的。至于全脑仿真会更容易获得类似人类的动机系统（而不是制造曲别针或计算圆周率），这么说的确是正确的。这一点可能令人安心，也可能相反，它取决于你对人性的看法是好还是坏。
3. 我们不清楚为什么全脑仿真会比人工智能导致更慢的启动。或许在全脑仿真的情况中，硬件突出的程度较低，因为与人工智能相比，全脑仿真的计算效率更低。也有可能人工智能系统更容易获得所有的计算资源，并将其整合成一个巨大的智能体，而全脑仿真则会放弃获得超级智能，只在速度和数量上超过人类。如果全脑仿真确实会导致更为缓慢的启动，就会给控制问题的解决带来好处。慢速启动还会增加多极结局的可能性。但是，多极结局是否可取，还是不能确定的。
首先实现全脑仿真这个观点还有另外一个重要的复杂性：需要应对二次过渡。即使首个人类水平机器智能的形式是基于仿真的，要发展出人工智能也仍然是可行的。与全脑仿真相比，成熟形式的人工智能具有非常重要的优势，这使得人工智能最终成为一种更强大的技术。虽然成熟人工智能会淘汰全脑仿真（除非为了保存个体人类大脑的特殊目的），但是反过来就不成立。
这就意味着，如果先发展人工智能，可能就会只有一次智能爆发。但是如果先发展全脑仿真，则可能会出现两次智能爆发：第一次是实现全脑仿真，第二次是实现人工智能。全脑仿真优先途径的全部存在性风险是第一次过渡和第二次过渡的风险总和（前提是成功渡过了第一次转变见图14–1）。

图片：Img411070176.jpg

在全脑仿真的世界中实现人工智能的过渡，安全性会有多大提高？一个考虑是，如果这是在已经实现了某种形式的机器智能之后发生，那么人工智能过渡的爆发性就会降低。仿真系统以数字速度和远远超过生物学人类人口的数量运行，将会降低认知差异，从而使仿真系统控制人工智能变得容易一些。这种考虑没有太大的重要性，因为全脑仿真和人工智能的差距仍然会非常大。然而，如果全脑仿真不仅是速度更快、数量更多，而且聪明程度相对于生物学人类有质的超越，那么优先发展全脑仿真就会具有和人类智能提升途径相同的优势。
另一个考虑是，向全脑仿真的过渡会扩大领跑者的领先距离。考虑这样一种情况，在全脑仿真技术研发领域，领跑者领先第二名6个月的时间。假设首批建造的仿真系统是合作的、关注安全的和有耐心的。如果它们在高速硬件上运行，就会将主体生命用于思索如何建造安全的人工智能。例如，如果它们以100 000x的加速比运行，而且能够在6个月的恒星时里不受打扰地研究控制问题，那么它们能够潜心研究控制问题5万年，之后才会面临来自其他仿真系统的竞争。如果有足够的硬件，它们还能够通过以扇形分散开无数个拷贝，并使每个拷贝都独立研究不同的子问题而加速发展。如果第一名利用这6个月的领先优势建立了单一体，它就能够为它的仿真人工智能研发团队争取到无限的时间，用来研究控制问题。
总的来说，如果在人工智能之前建造全脑仿真，似乎人工智能过渡的风险就会降低。然而，当我们把人工智能过渡的剩余风险和先行全脑仿真过渡的风险相结合，我们就非常不确定全脑仿真优先路径的全部存在性风险与人工智能优先路径的风险相比是大还是小。只有当人们对生物学人类掌控人工智能过渡的能力非常悲观的时候（考虑到当我们真正面对这个挑战时，人类的本质或文明可能已得到改良），才会认为全脑仿真优先路径有吸引力。
要想弄明白是否应该提倡全脑仿真技术，还有其他重要的几点需要考虑。最重要的一点是我们之前提过的技术耦合问题：试图发展全脑仿真的努力可能会导致产生神经形态人工智能。这是反对发展全脑仿真的一个理由。毫无疑问，会有一些合成人工智能设计与某些神经形态的设计相比安全性更低。然而，在预料中，神经形态的设计似乎安全性更低。这么说的一个原因是，模仿可以替代理解。要从零开始建造一个系统，通常必须要对系统的工作机制有足够多的理解。而如果仅仅是对已有系统的模仿，则不一定需要这样的理解。全脑仿真依靠的是对生物体的大规模复制，可能不需要对认知具有全面的计算机系统水平的理解（尽管大量的组件水平的理解无疑是必要的）。就这一点而言，神经形态人工智能可能与全脑仿真相似：在工程师不必对系统如何工作有深入的数学理解的情况下，通过把抄袭自生物体的碎片拼合在一起的方式实现。但是在另一方面，神经形态人工智能又不同于全脑仿真：它不会自动具有人类的动机系统。这个考虑反对研发全脑仿真，因为其有可能导致产生神经形态人工智能。
需要考虑的第二点是，全脑仿真更有可能预先通知我们它的到来。对于人工智能来说，总是有可能会有人实现意外的概念突破。相反，全脑仿真则需要大量费力的先导步骤：高通过量的扫描设备，图像处理软件，细致的神经建模工作。因此，我们可以确定全脑仿真不会很快来临（不早于15或20年之后）。这意味着只有在机器智能的研发相对落后时，加快全脑仿真的研发才会产生不同的影响。这会使得全脑仿真吸引这样一些人的投资：他们想要智能爆发先于其他存在性风险的发生，但又出于害怕在控制问题解决之前过早引发智能爆发而对于支持人工智能持谨慎态度。然而，对于相关时间线的不确定性非常之大，使得这种考虑目前还不具有太大的重要性。
因此，当满足下列条件时，提倡全脑仿真便是最有吸引力的策略：1.对人类解决人工智能控制问题的能力非常悲观；2.对神经形态人工智能、多极结局或者二次过渡的风险不是特别担忧；3.认为全脑仿真和人工智能的默认实现时间是相近的；4.希望超级智能的实现既不是非常晚也不是非常早。
人类影响视角支持加速
我担心当博客评论员“washbash”在写下面这段话时，他/她代表的是很多人的意见：
我本能地认为发展应该更快速，这不是因为我认为这样做对世界更好。我为什么要关心当我死去很久以后的世界是什么样的？该死的，我想要研发更快速！这样才能够提高我在未来体验更加先进的技术的可能性。
从人类影响的立场来看，我们有更多的理由去推进所有激进的、有可能带来存在性风险的技术。这是因为如果没有其他情况出现的话，几乎所有现在活着的人都会在一个世纪之内死掉。
如果涉及的技术能够延长我们的生命并进而增加目前人口在智能爆发发生时仍然存活的预期比例，加速研发的理由就尤其充分。如果机器智能革命开展顺利，那么产生的超级智能几乎必定有办法无限期延长那时候还存在的人类的寿命，而且不仅能使他们继续活着，还能使他们恢复健康和青春活力，把他们的能力提升到我们现在无法想象人类能够达到的水平；或者把他们的大脑上传到数字基质，将他们的自由精神置于感觉超好的虚拟化身之中，帮他们彻底摆脱终有一死的有形之躯。对于那些不能够拯救生命的技术，加速研发的理由就较弱，虽然也有人因为希望生活水平得到提高而对这些技术给予足够的支持。
出于同样的原因，人类影响视角支持很多危险的技术创新。这些技术创新可能会加速智能爆发的启动，而非人类视角是不赞成这些创新的，因为这些创新会缩短我们紧紧抓住生命的树枝直到迎来后人类时期的曙光的时间。因此，从人类影响视角来看，快速的硬件进步似乎是有益的，就像加快研发全脑仿真一样。而与目前活着的人能够有更大的机会在其有生之年享受智能爆发带来的个人利益相比，任何对存在性风险的不利影响大概就没那么重要了。

点赞点赞，都想去买一本看一下了0 0

其实只不过是AI高的过分了点。

不错哦。。喜欢这方面的可以买来看看

不错不错不错