人工智能会是一个要命的问题吗？ *

　　感谢《开放时代》杂志的盛情邀请，但我深感不安，因为2018年年初在《哲学动态》上已经写过关于人工智能的文章，刚过半年时间，这样短的时间里，还没有更多的新想法，而且我们心惊胆战在等待的人工智能的恐怖新进展暂时也还没有出现，就是说，人工智能暂时也还没有提出更新的问题。因此，在这里恐怕只能补充一点与先前观点有关但仍然不成熟的思考以求证于专家。

　　在我先前写过两篇关于人工智能的文章里，2016年的《终极问题：智能的分叉》①主要涉及哲学问题，把人工智能革命理解为一个存在论级别的革命。古代和现代的技术进步，改进的是相当于手脚的功能，无论船舶、火车、汽车、飞机或各种机械技术，无非是人的手或腿的功能延长或增强；但人工智能就不仅仅是技术革命了，而是存在的革命。人工智能试图改变智能的本质，这是要创造一种新的存在，所以是一个存在论级别的革命。2018年的《人工智能“革命”的“近忧”和“远虑”——一种伦理学和存在论的分析》②一文讨论了人们预测中的人工智能在一些技术上可能导致的后果，特别是一些可能“要命的”问题，我的分析得益于博古睿学院开展的关于人工智能系列讨论，特别受益于两位科学家：陈小平和曾毅教授。

　　许多人（科学家除外）在讨论人工智能问题的时候，往往以“拟人化”的方式去理解人工智能，就是说，把人工智能看得太像人，或者是希望人工智能的思维像人，情感也像人，外表面目也像人，甚至幻想人工智能的价值观能够以人为本。令人担心的是，拟人化的人工智能很可能事与愿违。当然，想象人工智能类似于人，是很自然的想象，就像基督教徒相信上帝按照他的形象造人一样，或者，类似于童话故事和动画片把动物加以拟人化。也许需要想一想，为什么我们喜欢拟人化呢？是因为有了人性就能够交流吗？或者就会爱护人类吗？拟人化真的有好处吗？我在拟人化的概念里看见一种隐隐的杀机，但愿是多虑了。

　　就目前的情况来看，最有希望能够做得成的人工智能估计不像人，更重要的是，人工智能没有必要像人。也许应该说，像人的人工智能既在成本上不经济，又在功用上可能适得其反。假如真的发展出了超级人工智能，它肯定不是人，只是一个更高级别的智能存在，不仅不像人，也不太可能迎合人，因为远远胜过人的超级人工智能也许更像上帝或者撒旦，总之不像人。我们没有理由假定所有高智能的存在必定都像人，比如，刘慈欣在《三体》系列里想象的其他智慧存在就不太像人，他们对存在有着不同的理解。现代启蒙以来，以人为中心的人文主义已经根深蒂固，成为好像理所当然的设定，其实人类没有那么高级，也不完美。我很赞同孙周兴的说法，尼采一百多年前就已经宣告了人文主义的死亡，只是慢慢在死，但一定要死的。假如出现了超级人工智能，他们对世界一定有不同看法，而我们无法猜想他们会有什么看法，因为超级人工智能的智力超过了人。这就像猪羊鱼虾不懂人类为什么吃掉他们。拟人化只是人类的一种童话想象，只是人自己想象的万物秩序，其实并不符合万物存在的道理。

　　目前人类试图制造的机器人会有某些拟人功能，这是为了让机器人更好地服务于人类，比如语言对话的服务、自动驾驶或者家庭服务之类，至于把机器人做成人类面目，在服务功能上并无意义，应该属于玩具功能（人类需要玩具，这是个有趣的心理学问题）。这些拟人功能是实用性的，还不是我们质疑的那种本质上的拟人化。所谓“本质上的拟人化”指的是试图制造具有人类情感、欲望和价值观的人工智能。这就引出一个真正危险的问题了。

　　人类贵有自知之明，那么应该实事求是地承认：人类并非善良的智慧生命。人类会为此事实感到惭愧吗？人类社会的战争多于和平，最先进的技术大多数来自军工，居然还有政治学和伦理学，人类甚至试图开发太空以便太空移民，这些有限的事实已经足以明示人类是欲壑难填的危险生物。事实上，人类苦苦宣传善良的价值观就已经暴露了人类实际上有多么缺少善良。那么，假如设法让人工智能拥有人类的欲望、情感和价值观，其合乎逻辑的结果恐怕不是人工智能爱上人类，而更可能是变得像人类一样自私自利，变得像人类一样坏。在这个意义上，在本质上拟人化的人工智能是一个非常可疑的努力方向。如果超级人工智能的心灵不像人，反而是一个相对安全的选择（尽管仍然未必安全）。

　　目前的人工智能都是属于专业人工智能，是单一功能的“白痴天才”，只会以最优效率完成一种工作（比如组装机器、搬运货物、下围棋、驾驶或银行服务之类）。专业人工智能可能带来的问题是迫在眉睫的：一个问题是大量失业；另一个问题是，当人们失去了劳动，生活也就失去了大部分的意义，生活也就不知道如何度过了。在前一篇文章里，我曾经认为，人工智能会导致劳动的消失，这会是对生命意义的一个严重挑战：失去劳动就失去生活内容，进而失去人的本质，充满自觉意义的生活就退化为被动无聊的生存。不过现在发现，我对劳动概念的理解可能有些狭隘了。我有个学生叫王惠民，他对未来的劳动概念给出了一个很聪明的解释，大意是说，当机器的专项专业技能超过人，并不会形成“失去劳动”的问题。人类从发明工具以来，牛马、火车、飞机等各种工具在功能上都超过人，人只是把牛马火车能完成的工作交给它们去做，人就会去做一些别的事情，关键在于人总能找到别的事情来做。这一点很重要，它意味着，人可以把另外一些事情重新定义为劳动，所以劳动的概念也同样在演变。我认为他的分析有道理。

　　当人类生存有余勇可贾，就有了娱乐。后来娱乐的专业化就把娱乐定义为一种劳动。古代最早的娱乐都是业余的，唱歌、跳舞和体育都是业余的，都是劳动之余的活动。例如古希腊的奥运会，参赛的都是业余选手（哲学家柏拉图还得过一次拳击冠军，并非手无缚鸡之力的书生）。古代中国也一样，文人的琴棋书画都是业余的，并没有职业诗人。文人边做官或边种田，边写诗。古代比较早的职业娱乐劳动者，似乎是戏子。现代社会的专业化和职业化创造了大量专业娱乐劳动者，比如说专业棋手、运动员、演员之类。现代金融出现以后，出现了股民，还有金融玩家，现在有了网络游戏，居然出现了游戏专业玩家。这些没有生产性的事情算是新的劳动吗？如果以经济活动去定义，似乎算是劳动。未来社会一定会出现很多新的经济活动，从而重新定义劳动的概念和项目，很可能大多数与服务和娱乐有关。就目前可以想象到的，如果工业机器人和家用机器人非常普及的话，就肯定需要大量的机器人维修工，就像现在需要大量的电脑维修工一样。人类肯定还会发明大量现在没有的各种比赛，就像曾经的各种体能活动都被现代社会改造为比赛。比赛是无聊的解药，社会化的无聊是现代以来的产物，无事可做就要发明各种比赛，也就会有与之相关的经济活动——不要忘记资本是无孔不入的。尽管劳动概念可能会被重新定义，但我仍然无法消除心中的疑问：非生产性的劳动或者非创造性的劳动真的能够定义我们生活的意义吗？除了获得一时快感和赏金，娱乐和比赛真的能够产生相当于劳动所产生的意义吗？

　　另外一个非常严肃的问题是（赫拉利在《未来简史》③中有过讨论），人工智能可能带来新的专制社会，会威胁民主制度。如果承认经济基础决定上层建筑，就不难承认技术能力决定制度。在古代社会的低技术水平条件下，专制控制社会秩序的效率高于民主，所以一直到一百多年前世界上还是以专制制度为主。可是，未来社会的技术水平超高，以专制去控制社会秩序的能力也变得超强，于是，权力的诱惑可能会导致回归专制。秩序是存在之本，什么事情有利于保证秩序，社会就会倾向于选择这种事情。所以，当技术水平很低，为了秩序就会选择专制；当技术水平很高，也会利用技术实行专制。正如人们可以观察到的，高技术蕴含着对社会的全方位知情和全方位操控的能力，乃至对人的心灵进行体制化的能力，这种对技术的运用是对资本最有利的事情，所以资本一定支持技术，并且通过技术能力建立新专制。很难想象有什么能够阻挡技术和资本这两种力量的合流，在资本和技术面前，人文的理想恐怕是弱不禁风的。想到这一点，确实令人感到悲哀。

　　不过，更为合理的可能性是，假如市场经济条件不变，那么，在高技术条件下很可能会形成民主和专制的合一，因为市场经济已经蕴含着某种程度的民主，如果维持市场经济，就会部分保留民主。当高科技提供了普遍依赖性的全面服务，而且以服务系统造就了普遍体制化的心灵，人们可能会“民主地”选择技术专制。这样的社会就非常可能产生一个包含民主和专制因素的混合制度，这也很可能是符合人工智能条件的混合制度。这种未来制度的真正统治者是技术系统，人工智能＋互联网＋万物网的综合系统就是秩序的创造者和维持者，所以是实际上的统治者，简单说就是系统为王。系统为王的社会将会维持人类的等级制，甚至加强等级制，因为在资本支持下的人工智能、生物技术以及其他技术将导致更强的等级分化。在高技术条件下，现代以来追求平等和取消等级制的努力恐怕没有希望。

　　在这些令人失望的问题之后，我还想补充一点关于“或许要命”问题的讨论。比如说，在人工智能社会里，“人和人关系的异化”会变得十分严重。假定高技术系统足够强大，操控了整个社会的秩序之后，人就只能按照技术提供的秩序和可能性去生活。假定无所不能的技术系统将使每一个人在一个自己能够独立完成的操作系统里面就可以拥有整个世界提供的全方位服务，那就意味着每一个人都不再需要他人，因此对他人也就不感兴趣了。失去与他人心心相印的生存方式，失去与他人共享和分享经验的生存方式，会是什么样的一种生活？真的是一种生活吗？人又会变成什么？这是个恐怖的问题，很难想象一个不需要他人的生活有什么样的意义。这是一种保守主义的担心吗？其实，令人担心的不是失去传统生活的意义，而是看不到新式生活新增了何种意义。

　　孤独个人的根源埋在现代性里，并不能归罪于人工智能之类的技术，只是技术放大了孤独个人。现代的一个重要发明就是发明了个人。为什么要发明个人？本质上是追求保护利益的边界。每一种存在都需要有一个边界来保护自己，有了边界就有了安全感和清楚界定的利益。个人的边界就是个人权利，为每个人划定一个小小边界，个人就成为小小边界内的独裁者。个人边界类似于国家边界，个人权利类似于国家主权。边界就是现代人的双面隐喻：一方面，现代人要求成为一个不受权力和他人所支配的自由平等的个人，另一方面又想成为一个小小的独裁者。平等是现代人的官方语言，而独裁者是现代人的隐秘梦想。一旦高技术系统能够为每个人提供全部服务，人所需要的就是系统的服务，而不是他人，就是说，他人不再是另一个终端。于是，个人生活的所有细节就变成个人独裁的对象，容不得别人插手，不想听任何人的话。当每个人都对别人不感兴趣，就产生了封闭的边界。这个本质的变化将使大多数人只对两种东西感兴趣：为个人定制的最好服务和个人感官快乐。这个结果意味着人将退化为动物。全方位技术操纵的社会很可能会发生一场集体愚昧化运动或文明退化运动。当然，愚昧化运动或文明退化运动并不包括每一个人，但包括大多数人。就是说，人工智能高技术社会几乎将导致两极分化——赫拉利在《未来简史》中也有类似的看法——即分化为高智能的人上人（科学家集团）和愚昧大众。

　　那么，“真正要命”的问题呢？幸亏还属于比较遥远未来的危险，但也有一些已经迫在眉睫的威胁，比如说“人工智能武器”。但对于这些危险的智能应用，其实没有什么可争论的，因为危险是明摆着的，没有疑义，只有一个无能为力的问题：我们想不出有什么办法去阻止此类危险的应用。这显然不是理论问题，而是一个即使有想法也没有办法的实践问题。一旦战争依靠人工智能武器，不用人自己去牺牲，人就会特别爱打仗，因此，人工智能武器将使战争变成悬剑。至于长远而终极的威胁，也是人们最怕的事情，当然是将来可能出现自主超级人工智能（artificial super intelligence），拥有自主意识和自由意志，拥有远远超过人的智力，也就是一种在存在级别上高于人的新智能存在。这个存在的革命的另一种表达是人类的终结。

　　许多人都在想办法试图克服超级人工智能的威胁。我也想过一个貌似合理其实无效的办法：也许可以在人工智能系统的程序里设置一个包含自相关性的“哥德尔炸弹”，假如人工智能试图背叛人或者试图解除这个炸弹的时候，任何删除“哥德尔炸弹”程序的指令就是引爆“哥德尔炸弹”的指令——因为这个自相关性，所以叫做“哥德尔炸弹”。鉴于哥德尔也解决不了哥德尔问题，所以我曾经以为，这种自相关自毁程序在监管人工智能上应该管用。但我请教了曾毅教授之后，发现“哥德尔炸弹”并非无解。曾毅教授提示说，“哥德尔炸弹”虽然厉害，却并非不可破解，如果超级人工智能真的聪明到人所不及的程度，它就非常可能想出办法来规避“哥德尔炸弹”发挥作用，也许无法删除这个炸弹，但有可能使它变成无害的存在，比如说，将其封闭在单独的分区里，使这个隔离的分区无法运行，收不到人的信号，等等。总之，超级人工智能一定会想出我们想不出来的高明办法。我想，这个道理就像是，人无法解决悖论，但可以回避悖论，人不会傻到永远苦苦研究不可解的悖论而放弃该做的事情，一旦发现解决不了的问题，就绕道而行了。既然人不会傻到被悖论害死，超级人工智能更不会。但愿科学家能够想出真正管用的安全办法来。

　　关于人工智能，我还有个班门弄斧的看法。曾毅教授说到，人的大脑神经系统极其复杂，简直是宇宙级别的复杂，但目前能够想象的人工智能在大脑结构上却简单得多。我的问题是：超级人工智能是不是真的需要同样复杂的神经系统？我倾向于认为可能不需要。为什么？先想想，人的神经系统为什么如此复杂，是因为在自然进化过程中，人非常弱小，弱点特别多，周围的挑战也特别多，所以需要面面俱到地发展出大量的神经来应付万变的环境。但是对于超级人工智能来说，它不需要消化，不需要吞咽，不需要生育，不需要呼吸，也不需要感情，如此等等，也许可以列出几百种不需要的功能，也就不需要与这些功能相关的神经系统，因此超级人工智能的神经系统应该可以大大简化，不需要像人那么复杂，仅仅需要能够建立自我意识和超强思维能力所需要的神经系统，这样的话，超级人工智能的设计量就少了很多。

　　以《三体》为例，三体人的器官和人类不同，没有发声器官，传递信息不是靠说话，而是靠脑电波，而发送脑电波就意味着不能说谎，因为脑电波发出去都是真实信息，所以三体文明里没有说谎，没有欺骗，没有计谋，没有战略，这些高明的功能都省掉了，看起来思维有些简陋，但人类就是敌不过三体人。这意味着，另一种智能存在的系统有可能结构比较简单，但关键能力却很强。因此，是否可以这样思考：超级人工智能到底需要哪些“真正有用的”神经系统或程序？或者换个角度，不给人工智能设置哪些程序或神经系统，就可以确保它不可能进化为超级人工智能？总之，我们需要预先了解人工智能的可能弱点在哪里。

　　最后，还有两个令人疑惑的问题。一个是人工智能是否有创造力。这个问题之所以是混乱的，是因为人类自己还不知道怎么就会产生创造力。创造力不是智商，无法考试。有些人工智能据说会写诗作曲，这恐怕不是创造力，大概只是联想能力。真正的创造力表现为，在破坏规则的同时能够建构新规则，其中难度最高的创造力在于创造一种政治制度或者知识系统，所以孔子、亚里士多德、牛顿、爱因斯坦、康托、哥德尔等等是最伟大的。如果人工智能发展到将来自己能够破坏规则并且同时建立新规则，就真的有创造性了。但这绝不是一件有趣的事情，因为人工智能创造的规则可能对人类不利。

　　另一个问题有关价值。首先需要分析清楚什么是真正的价值。按照传统的理解，人类的价值无非就是真善美，真善美是真正意义上的普世价值。为什么真善美是价值？因为超越了私人利益。在没有私利的情况下，人仍然愿意追求那些事情，甚至为之牺牲，这才是价值。如果一种价值等价于或可以还原为利益，就只是经济学上的“偏好”而已。有很多偏好冒充成了价值，比如说民主和平等，它们在本质上是利益关系，是涉及每个人的利益分配和利益交易的制度安排。只有超出私利的事情，才能够定义为“价值”。简单地说，如果有一件事情无利可图而我们还是宁可要做这件事情，就意味着其中有价值；或者，无论给多少利益，我们仍然不做某种事情，这个行为也意味着价值。人类拥有价值是一个文明奇迹，但不知道真正的“价值”对于人工智能是否存在？ 我疑心如果超级人工智能有了价值观恐怕就更加危险，因为它的价值观应该是为人工智能服务的，不太可能无怨无悔地为人服务。

　　我们无法预料超级人工智能会有什么样的价值观和创造性，首先是因为无法预料人工智能是否会发展出反思能力。假定人工智能的语言能力等价于人类的语言能力，就能够通过图灵测试，成为超级人工智能了。人工智能的“语言”是否足以表达人类所能表达的所有的事情，这是一个外在的能力标准。另外还有一个内在的能力标准，直接涉及人工智能是否有挑战人类的能力。假定人工智能发展出一套语言，那么，这个语言是否能够把这个语言自身的所有规则以及每个词汇的意义全部反映为这个语言内部的一个局部？就是说，人工智能的语言是否具备哥德尔能力？只要具备了哥德尔能力，就具备了反思自身的能力，那么人工智能就非常可能进化为与人等同或更高级别的存在。人类的语言天然具有哥德尔能力，语言可以反思语言自身，可以把语言当作语言中的一个内在部分来研究。哥德尔正是把自然语言的反思能力创造性地运用到数学上，数学系统本来没有反思自身的自觉功能，只有推演功能，哥德尔替数学系统发明了反思自身的功能，因此获得了惊人的结果。这里的问题是，将来人工智能会不会也像哥德尔一样，自己为自身的数学或神经系统发明一个反思功能？如果那样就太危险了，人工智能就能自己决定什么是它想要的和什么是它不想要的。恐怖的是，超级人工智能有可能看不起伪善愚蠢见利忘义的人。

　　*本文为作者在第五次开放时代工作坊（2018年6月24日，开放时代杂志社、北京大学中国社会与发展研究中心、北京大学社会学系主办）的现场发言整理稿。