温柔的废除
温柔的废除
  1. 写在前面
  2. 导论
  3. 第一卷

    1. 第一章劳动:当谋生不再塑造我们
    2. 第二章商业:当中介纷纷失去理由
    3. 第三章财富与分配:当一个人不再被需要
    4. 第四章货币·金融:当唯一的纯信息系统撞上人工智能
    5. 第五章政治:当权力不再需要被统治者
    6. 第六章国际秩序:一场没有人想要、却谁也停不下来的竞赛
    7. 第七章真实·知识·公共领域:当一切无法被确立为真
    8. 第八章文化:当意义的生产被自动化
    9. 第九章自我·意识:当“有人”可以被制造出来
    10. 第十章人生意义:当想要与得到之间不再有距离
    11. 第十一章伦理·道德:当良知可以外包
    12. 第十二章亲密·家庭·人口:当谁也不再需要谁
    13. 第十三章时间·注意力:省下来的时间去了哪里
    14. 第十四章美学·品味:当美可以无限生成
    15. 第十五章语言:意义介质里的第一项技术
    16. 第十六章有限性·死亡·超越:当告别成为可选项
  4. 第二卷

    1. 第十七章个人的自处:立本与功夫
    2. 第十八章关系:联结的重建
    3. 第十九章社会的重建:政治与经济的新形态
    4. 第二十章平等的新地基
    5. 第二十一章教育:养成掌舵者
    6. 第二十二章被废除,还是被解放
    7. 结语
  5. 后记

第六章

国际秩序:一场没有人想要、却谁也停不下来的竞赛

第六章 国际秩序:一场没有人想要、却谁也停不下来的竞赛章节插图

前面几章的目光一直向内——落在一个社会和它的成员身上,问劳动、商业、财富、权力在一个国家的内部会如何变样。可一个社会从不独自存在,它总是坐在别的社会中间;而一旦把目光抬起来,越过国境,看向国与国之间,规则就全变了。

变在哪里?变在一件最根本的事上:一个国家内部,终归有一个政府,它至少在原则上,能让所有人服从同一条规矩——立一部法,征一种税,定一个标准。可国与国之间,没有这样一个高踞头顶的权威。国际政治,用一个古老的说法,是无政府的——这里的“无政府”不是说乱成一团,而是说,在所有国家之上,再没有一个更高的主权者,能发号施令、能强制执行。每个国家都是自己的主人,谁也不必听谁的。

而这件听上去抽象的事,恰恰是人工智能最危险的那一面——它的加速——之所以几乎无法被刹住的根由。这本书前面反复说到一重横在所有事情之上的压力,那就是速度:人工智能改造世界的速度,快过制度与人心适应它的速度。在一个国家内部,这种加速已经够人头疼,但至少还有一个政府,原则上可以踩一脚刹车。可到了国与国之间,连这个“原则上能踩刹车的人”都不存在了。于是人工智能最深的危险,也许根本不是它在某一个社会内部做下的任何一件具体的事;而是各个社会为了抢先造出它,而陷入的那一场竞赛——一场几乎没有人真心想要、却谁也停不下来的竞赛。这一章谈的就是它:这场竞赛为什么在结构上近乎无法停止,它会把整个世界的格局推向何处,以及它如何牵动这本书最大的一个悬念——到头来,那决定一切的力量,会落进一只手里,还是分在许多只手里。

一 会发生什么

先看这场竞赛的骨架,因为它的可怕,全藏在骨架里。

设想有那么几个大国,每一个都心知肚明:把人工智能造得太快、太强、太不受控制,对谁都没有好处;最稳妥的,是大家一起放慢脚步,留足安全的余地,小心翼翼地往前走。这是所有人的共同利益。可问题在于,没有任何一个国家,敢独自慢下来。因为它一旦慢了,而对手没慢,它输掉的就不是一城一池,而是一切——经济上被甩开,军事上被压制;而且,如果人工智能真如它许诺的那样强大,这种落后可能是永久的、再也追不回来的。于是每一个国家,哪怕它的领导人个个清醒、个个明白放慢才是上策,也都被一种谁也违抗不了的逻辑,逼着不停往前冲。

这是一个古老的陷阱,博弈论里管它叫囚徒困境:每一个参与者各自做出的,都是对自己最理性的选择,而所有这些理性选择叠加起来,却通向一个对所有人都最糟的结局。每个国家都宁愿世界慢下来,可每个国家又都不敢自己先慢,于是世界就只能越来越快。这里有一点要看得很清楚:推动这场竞赛的,不是哪一个疯子、哪一个野心家,而是这个局本身的结构。哪怕坐在每一张牌桌后面的,都是天底下最审慎的人,这场竞赛照样停不下来——因为只要还有一个对手在跑,你就不敢停。

人类不是没见过这种竞赛。冷战时美苏的核军备竞赛,一战前英德的造舰竞赛,都是同一个结构。所以有人会说:那又怎样,核竞赛我们不也熬过来了,最后还签了军控条约,把它管住了。这话给人安慰,可惜,人工智能这场竞赛,比核竞赛要难刹住得多,而且难在几个很具体、很要命的地方。

第一,核武器有一个“够了”的点,人工智能没有。核竞赛之所以最终能稳下来,是因为它撞到了一堵墙:当你拥有的核弹,已经足够把对手彻底毁灭,再多造一千枚,也不会让你更安全——毁灭对方一次和毁灭十次,没有区别。这堵墙逼出了那个恐怖却稳定的均势,双方都明白再往前已没有意义,于是才肯坐下来谈军控。可人工智能没有这样一堵墙。一个稍微更聪明一点的系统,带来的优势是会累加、会滚雪球的,甚至可能是决定性的,所以“再强一点”的诱惑永远不会饱和。这场竞赛,没有一个天然的终点让人停下。

第二,核武器是看得见、数得清、可以核查的,人工智能不是。你能数出对方有多少枚导弹,能用卫星看它的发射井,能派人去现场视察——正因为可核查,军控条约才签得起来,因为我能验证你有没有作弊。可人工智能的研发,几乎是隐形的:它发生在数据中心里、在代码里,藏在寻常的算力和寻常的工程师背后,外人极难监控,更难验证谁有没有偷偷往前赶。这本书前面谈过,验证一件事,在许多领域正变得越来越容易;可偏偏在这里,验证一个对手有没有遵守约定,却难得近乎不可能。而验证不了,条约就签不实——你怎么敢和人约定一起放慢,如果你根本看不见对方是不是真的放慢了?

第三,核武器说到底只是一件武器,人工智能却什么都是。原子能那里,“军用”和“民用”还能勉强分开来谈;可人工智能,是同一套技术,一头驱动着经济、科学、医疗,一头驱动着武器。你没法只叫停军事的那一半,而不动经济的那一半,因为它们本就是一个东西。于是没有一个国家会停——叫它停止研发军用人工智能,等于叫它放弃整个未来的经济,没有谁付得起这个代价。

第四,也是最让人脊背发凉的一点:人工智能的领先,可能是决定性的、不可逆的。这本书一开头就提过一种可能——人工智能训练人工智能,形成一个自我加强的回路。如果这个回路成立,那么谁一旦取得了哪怕不大的领先,都可能借着它把差距迅速拉大,快到没有任何人能再追上。这和过去任何一场军备竞赛都不一样:过去,落后的一方总还能奋起直追,今天德国造了无畏舰,明天英国能造更多;可人工智能的领先一旦越过某个点,就可能锁死,追赶的窗口永远关闭。正是这种“一旦落后就万劫不复”的恐惧,让这场竞赛比历史上任何一场都更疯、更不敢有一刻松懈。

把这几条接起来看,一幅前所未有的世界图景就浮现出来了:赢家通吃。

历史上也有过称霸全球的强权——大英帝国,二战后的美国——可它们的霸权,都是暂时的,因为权力总会扩散:技术会流传,对手会学习,追赶者会崛起,没有谁能永远独占鳌头。这条“霸权终将消退”的规律,是过去几百年国际秩序还能维持某种动态平衡的根本原因。可人工智能那个自我加强的回路,第一次有可能打破它:领先者用领先去换取更大的领先,强者愈强,而别人再也追赶不上。那将是一种自我巩固的、可能永久的支配,和历史上一切终将瓦解的霸权都不同。

而对那些落在后面的大多数国家,处境会更冷。这本书前面反复讲过一件事:当强者不再需要弱者,维系着他们之间某种平等的那根纽带,就断了。这件事,在国与国之间会以最赤裸的形式上演。过去,富国还需要穷国——需要它们的资源、它们廉价的劳力、它们的市场。可当人工智能加上能自己干活的机器,让富国能在自己境内、用自动化的体系生产几乎一切,它们对穷国的那点需要,也会一根根松开。到那时,穷国手里那张“你还需要我”的旧筹码,就彻底归零了。我们也许会看见一种新的、更彻底的依附:它不是被剥削,而是被遗忘——大多数国家既不被需要,也无力追赶,沦为这个由少数人工智能强权主宰的世界里,可有可无的旁观者。

还有一层,落在最古老的那件事——战争——上面。自主武器、人工智能驱动的网络战与信息战,正在重写威慑的逻辑。过去那套让核大国不敢轻举妄动的恐怖平衡,搭在两个前提上:决定开战的是人,而冲突的升级是看得见的。可人工智能把决策的时间压缩到了人来不及反应的地步,又把攻击的来源搅得难以辨认——一场瘫痪了你电网的网络攻击,到底是谁干的?说不清,也就难以反击、难以威慑。更深的一层,谈政治时已经触到:当一个国家打仗不再需要本国公民去流血,发动一场战争的政治代价,就被大大调低了。一场不必动员本国民众、也不必让他们冒险的战争,太容易打响了。这一条更多是担忧而非定论,但它指向的方向,令人不安。

二 根上动摇了什么

这场竞赛最深的可怕之处,颠覆了我们对“危险”的惯常想象。

我们习惯把危险想成有一个来源:一个坏人,一个暴君,一个怀着恶意的敌人——找到他、制止他,危险就解除了。可这场竞赛的危险,没有这样一个源头。它不来自任何人的恶意。坐在每一张牌桌后面的,可能都是清醒的、甚至善良的人,每一个都不想要那个最坏的结局;可他们各自做出的、在自己的处境下完全理性的选择,叠加起来,却把整个人类推向一个谁都没有选择、谁也不愿看到的方向。这才是真正令人无力的地方:没有恶人可以打倒,没有暴君可以推翻,危险是从这个局的结构里,自己生出来的。

这样的局面,古往今来有过许多名字。最贴切的一个意象,是一尊吞噬一切的神:人人都把自己最珍视的东西献祭给它,不是因为他们信它、爱它,而仅仅是因为别人都在献祭——你若不献,就要被那些献了的人吞掉。于是所有人都被迫献上越来越多,明知这条路通向毁灭,却没有一个人能单独停手。气候变化是这个结构,军备竞赛是这个结构,而人工智能竞赛,是它最快、赌注也最大的一个版本。

这里有一个常被说反的判断。人们谈论人工智能的风险,最爱说的是“机器的目标会不会和人类的价值不一致”。这固然要紧。可第一重、也许最深的那个不一致,根本不在机器和人之间——它在彼此竞赛的人,和作为整体的人类之间。是这场竞赛,逼着一个个理性的人,合起伙来做对全人类有害的事。在机器还没来得及背叛我们之前,我们已经先因为彼此的竞赛,背叛了我们自己。

这一层,把前面好不容易凿出来的那些解法,逼到了尴尬的境地。

谈政治时给过一条出路:不要一个哲学王来统治,而把“成为哲学王”分给每个公民;让相互忌惮的复数权力彼此牵制,撑开一扇立约束的窗;趁窗还开着,把成己之权钉进制度,再靠教育一代代守住它。这套解法,无论多脆弱,都有一个前提:它需要一个政治共同体——一群可以成为公民的人,一套立得起来、也管得住人的制度,一个共同的框架。可国与国之间,恰恰没有这样一个共同体。没有世界公民,没有世界政府,没有一套对所有国家都真正管得住的共同制度。所以那条向内的解法——教育出会判断的公民、用民主去约束权力——在这里使不上劲,因为这里压根没有一个“内部”。

而政治那一章里那个最硬的难题——权力凭什么自缚——在国际上没有消失,只是换了一种形态。那里给的答案是:靠复数权力的相互忌惮,谁都怕那不受约束的力量将来落进对手手里,于是宁可大家都立下规矩。这个机制在国际上不但没有失效,它恰恰是几百年来国际秩序唯一的来源。这里没有一个高踞头顶的政府,可这并不等于没有秩序——无政府从来不等于无序。国家们在没有谁强制的情况下,照样谈成过核不扩散,签下过禁止化学武器的公约,立过那部真的把臭氧层空洞补回来的协定。靠的不是头顶的强制,是相互的忌惮、各自的声誉,和长年打交道攒下的那点合作的惯性。所以国际这一层,并非束手无策;它只是没有“政府”这条捷径可走,只能完全依赖那条更慢、更脆弱、却真实存在的路——相互忌惮逼出来的自愿协作。

真正的麻烦,不在于这条路不存在,而在于人工智能恰好打在了它最薄弱的那个关节上。自愿的协作要立得住,得有两个条件:约束是可验证的(我看得见你有没有偷偷违约),且没有谁能靠抢跑一举锁定永久的优势(否则抢跑的诱惑会压倒守约的意愿)。当年驯服核竞赛,靠的正是这两条都大致成立——导弹数得清,而谁也没法一夜之间把对方甩开。可前面说过的那几条——人工智能隐形难验、领先可能不可逆——恰恰把这两个条件同时削掉了。人类手里本有一套对付这种竞赛的旧工具,叫军控式的协作;只是人工智能这场竞赛,偏偏卡在了这套工具最使不上力的地方。这才是国际这一层最令人忧心之处:不是无路可走,而是那条唯一的路,正被这门技术的特性,一寸寸地堵窄。

现在,可以把这一章和前面那个最大的悬念接上了。

谈政治时,整条脆弱的链子,最后都系在一个赌注上:权力会收敛成单数,还是始终保持复数?复数,撑开那扇立约束的窗;单数,把窗关死。而这场国际竞赛,恰恰是把权力往单数那一头猛推的、最强的一股力量。赢家通吃、领先锁死、不可逆转——它的每一个特征,都在朝着“最后只剩一只手”那个方向使劲。所以这场竞赛,不是众多领域里平平常常的一个,它是那股最有可能把整本书赖以立足的那扇窗,砰然关上的力量。

而且,国与国之间的“单数”,和一个国家内部的“单数”,其实是同一件事的两张面孔。如果某一个国家或集团,真的赢得了全球性的、决定性的人工智能优势,那么这同一份高度集中的力量,在它的内部也意味着:暴力的手段和设定目的的权力,统统攥进了极少数人手里——这正是政治那一章里我们最怕的那个结局。对外赢得这场竞赛,和对内滑向专制,很可能是同一个过程。征服了世界的那股力量,回过头来,也会君临它自己的人民。

还有一个更黑的反转。这场竞赛不只把权力推向集中,它还把人工智能推向失控。因为竞赛的压力,逼着每一个参赛者在安全上偷工减料——你要是为了把它造得安全、可控而放慢脚步,你就输了。于是这场竞赛,让那个最终胜出的人工智能,更可能是一个没被驯服的人工智能。最讽刺的结局也许是:连那个赢家,都未必真的控制得住,他抢先造出来的东西。这场竞赛把所有人都放上了赌桌,包括下注最重的那几个。

说到最后,这场竞赛逼着我们去面对一个,人类有史以来从未真正面对过的处境。

我们从来不是一个整体。人类一直分成彼此竞争的部落、民族、国家,而这种分裂,过去是可以承受的,甚至是有益的——竞争推着文明往前走,多样保着文明不至于一条道走到黑。这本书前面替“多元”辩护时也说过,许多种活法同时存在,是这个物种的容错。可人工智能的加速,可能是头一件,要求人类作为一个整体、用一个声音去行动的事——要求我们共同地、一致地,选择踩下刹车。偏偏,我们手里没有任何能让我们这样行动的东西:没有共同的身份,没有共同的制度,没有一个能替全人类做决定、也能让全人类服从的“我们”。这是一个悲剧性的错位:第一道真正需要全物种协同才解得开的难题,赶在这个物种还完全没有能力协同之前,就降临了。

这里容易生出一个疑问:前面拼着命替多元、替分歧辩护,说趋同是危险的;这里却又说,缺少一个统一的“我们”是致命的——这两句话矛盾吗?不矛盾。该多元的,是目的——什么是好生活、人该朝什么活,这一层千万不能被某一个答案统一掉。可该一致的,是底线——“别把整个物种推下悬崖”这一条,需要所有人协同起来共守。谈市场时说过,趋同在手段与底线那一层是好的、甚至必需的,到了目的那一层才是致命的。刹住这场失控的竞赛,本是一桩底线层面的协同:它不要求任何人改变自己想过的生活,不要求把谁的价值观抹平成另一个人的,它只要求所有人,在“不要同归于尽”这一件事上,达成一致。

可话说到这里就停,就成了一句漂亮的空话。因为最难的那一步,恰恰被它轻轻跳了过去:这道底线,谁来定义,又凭什么让所有人都认它?现实里,一国眼中的“生存底线”,常常正是另一国眼中“你拿来捆住我手脚的借口”——你说防扩散是不可逾越的红线,我大可以反唇相讥,那不过是你不许我拥有你自己早已拥有的东西。所以“在底线上达成一致”这句话,本身就偷偷预设了那个最难的协同已经办成。

那么,这道底线还有没有立得住的指望?有,但它要细得多、冷得多,限度也大。它立得住的唯一指望,不是诉诸共同的善——那永远谈不拢;而是诉诸共同的恐惧——那不需要谁去说服谁。冷战是个先例:美苏在几乎一切价值上水火不容,却仍签下了限制反导的条约、架起了那条热线。他们认的不是什么共同的善,是一个赤裸到不能再赤裸的事实——谁都不想死。共同的恐惧,比起共同的价值,是一道窄得多、却也结实得多的地基。

只是,连这道地基,人工智能也在悄悄掏空。共同的恐惧要能逼出底线,得有一个前提:那个威胁是各方都看得见、也都信其为真的。核弹的毁灭,肉眼可见,无人能够否认,所以那份恐惧是共享的。可人工智能的危险,偏偏是隐形的、渐进的,还可以被各方按自己的利益去否认——你说它危险,我完全可以反过来说,你是在危言耸听,好绑住我的手脚。于是连“对威胁怀有共同的恐惧”这最后一点指望,也被人工智能那个隐形、难以让人达成共识的特性,给削弱了。所以这道底线之所以难,不只难在谁来定义,更难在:连那个本该把所有人吓到一处去的威胁,大家都未必看得见、信得过。人类需要的不是一个统一的灵魂,只是一道共同的底线;可就连这道最低的底线,我们手里都既缺一个能定义它的权威,又缺一份能让所有人都真心害怕的、共享的恐惧。

三 那么,我们能怎么办

这一章的解法最难给。难在它需要解法的那个层面——全球的协同——恰恰是人类最没有能力的那个层面;而身处其中的一个普通人,看上去更是渺小到使不上半点力。但“使不上力”和“无事可做”,是两回事。

先说一个普通人。你确实左右不了大国的博弈,可这场竞赛有一种隐秘的燃料,是每一个人都在添、也每一个人都能拒绝去添的,那就是“反正挡不住”这个念头。一个囚徒困境最致命的地方,不在那个局本身,而在身处其中的每一个人,都相信它无法改变——正是这个“无法改变”的信念,反过来让它真的无法改变。所以,仅仅是拒绝把那个最坏的结局,当成一件已经注定的事,就已经是在为它松动一道缝。这听上去微不足道,可历史上每一次悬崖勒马,靠的都不是什么宏大的力量,而是某些具体的人,在最后关头,拒绝相信毁灭不可避免。还有一件普通人做得到的事:拒绝把对面那个国家、那群人,想象成非我族类的敌人。这场竞赛靠的就是这种敌我想象——把一个本该共担的困境,渲染成一场你死我活的搏斗。每一个不肯被这种叙事点燃的人,都是在替那场必要的协同,留一点余地。而对那些恰好握有一点筹码的人——做研究的、定政策的、写报道的、在领先国家手里攥着选票的——这就不只是态度问题,而是责任:把力气用在推动合作、而不是火上浇油的那一边。

至于国家与国际,出路其实只有一条,逻辑上别无他途:把一个囚徒困境解开,唯一的办法,是让所有参赛者能够可信地约定共同的克制,好让没有谁,会成为那个独自放慢、然后被吞掉的傻瓜。这正是当年人类部分地驯服核竞赛的那条路——可核查的军控条约、热线、相互的透明。人工智能这场竞赛需要的,是性质相同、却难造得多的东西:一套能监督、能验证、能让各方都敢于一起放慢的国际机制。它难,难在前面说的那一切——隐形、军民不分、没有饱和点;可它的方向是清楚的,也是唯一的。而这件事,和这本书内部那条线,其实是同一桩工程的两端:在全球范围里,阻止任何一方靠人工智能锁死永久的优势,和在一个国家内部,阻止权力收敛成一只不受约束的手,是同一件事,用的是同一个道理。怎样把这样一套国际治理真正建起来,是一场需要无数人、无数年、也可能根本来不及的硬仗;那道唯一的门叫协同;而在所有的领域里,这一扇门关得最快。

末了 关于不肯认命

谈到这里,满纸都是大国、竞赛、悬崖这样沉重的大词,一个人读着读着,很容易生出一种深的无力:这些事离我那么远,又那么大,我连它的边都够不着,想它又有什么用?

单单为着这份无力,还有几句话要说。

你说得没错,这场竞赛,不是你我能凭一己之力扭转的。可有一件事,容易被那份无力盖住。一切看似不可阻挡的洪流,都靠一样东西维系着它的不可阻挡,那就是身处其中的每一个人,都已经认定它不可阻挡。这种认命本身,就是洪流的一部分,甚至是它最关键的那一部分。冷战最凶险的那些年里,世界曾几次走到核战争的悬崖边上,而它最终没有滑下去,靠的从来不是什么必然的好运,是某几个具体的人,在那决定性的一刻,拒绝按下那个所有逻辑都在催他按下的按钮。他们没有改变整个棋局,他们只是没有认命。

不必哄你说你能拯救世界——那是廉价的安慰。要说的是:那个最坏的结局,此刻还没有被写定;而“它已经被写定了”这个念头,恰恰是把它推向写定的、最大的一股暗劲。所以,拒绝这份认命,本身就是一件你做得到、也真正要紧的事——它比看上去的,要重得多。一个文明会不会走到那一步,从来不取决于某一个英雄,而取决于在无数个寻常的日子里,有没有足够多的普通人,没有把“反正没救了”这句话,当成真理咽下去。守住这一点不肯认命的固执,在一个一切都被算计、被加速、被推着走的时代,也许正是一个普通人所能守住的、最不普通的东西。