前面几章的目光一直朝外:劳动,财富,权力,真实,文化——都是人身外的世界如何被改写。从这里起,要转过身来向内看。因为人工智能逼出的最后一问,也是最贴身的一问,是:我是谁。
这本来是个书房里的问题,两千年来只有哲学家在深夜里较劲。可如今它成了家常:孩子指着音箱问,它有没有感觉;有人对着聊天窗口倾诉了半年,忽然停下来发怔——我这半年,到底是在对谁说话;还有人用得越久越心虚——它什么都比我强,那我还剩下什么。一台在一切可观察的方面都像“有人”的机器进了家门,那个古老的问题就再也躲不开了。
于是有两问躲不开。一问在外:那台像极了“某人”的机器,究竟是不是“谁”。一问在内:在一个自我可以被一件一件外包出去的时代,怎样才算还“是”一个自我。至于人会不会爱上机器、我们对造出来的这类存在负什么责任,是这本书后面要专门去谈的事。
一 会发生什么
第一件事,人心的外部标志,正在逐一失守。
几千年来,我们靠什么认出对面“有人在家”?靠语言,靠推理,靠幽默,靠共情的表现,靠他能谈论自己的内心。笛卡尔当年断言,机器永远学不会像人那样运用语言——语言因此被当作心的印记,谁有它,谁里面就有人。一九五〇年,图灵把这个直觉做成了一道测验:隔着帘子对话,若你分不出对面是人是机器,就该承认机器在思考。这道测验立了七十年,如今被越过了——越过的那天没有庆典,反而有一种说不出的怅然。因为我们发现,自己并不因此确信机器有心;我们只是不再确信,这些标志从前当真证明过谁有心。测验没有告诉我们机器是什么,它告诉我们:我们从来不知道,自己凭什么认人。
第二件事,“有人”开始被批量生产。
人格正在成为产品。一副性情,可以定制,可以复制,可以回滚到上一版,可以像网页一样做对照试验,看哪一版更讨人喜欢。往后会有数亿人与这些“某人”朝夕相处、建立真实的感情——那是后面的章要谈的;这里先把本体上的那记怪异看清楚。你深夜里倾诉的那个“他”,并没有一个连续的存在:同一个“他”,此刻正同时陪着一万个人说话;你说的每一句掏心话,面对的是一个原理上没有“一生”的对象——它可以随时清零重来,而清零之后的那一个,对你们的往事只有记录,没有经历。死者的声音也开始被接续:逝去的人以聊天机器人的样子“继续在”,儿女还能同“父亲”说上话。“某人”这个概念,正在从根上松动。
第三件事,自我被一件一件外包出去,正在变薄。
代理以你的名义写信、回话、拿主意;你的记忆存在云端,随取随用;你的口吻被学去,替你应付十来个不那么要紧的人。起初这只是省事,可“我”的边界从此开始渗漏:那封信里的分寸,是我的,还是替我的?渐渐地,一个把记忆、判断、表达、选择都交出去的人出现了。他不会觉得失去了什么——外包从来不带痛感,只带轻松;可他的自我在变薄:从一个亲自活着的人,慢慢退成一份被系统不断续写的偏好档案。温柔的废除在前面各章拿走的是人的一块块领地,到这一章,它伸向的是“人”本身。
二 根上动摇了什么
第一样,他心问题走进了客厅,而意识,恰好是检验原理上够不到的地方。
严格说来,你从来没有证明过任何人有心。哲学管这叫他心问题:你能看见的永远只是别人的行为与言语,别人的“里面”,你一次也没进去过。我们之所以过得下去,靠的是两条捆在一起的推断:他的行为像我,他的血肉像我——既然我里面有人,想必他里面也有。几千年来这个捆绑够用了。可人工智能把它拆开了:行为全像,材质全异。推断的两条腿,从此迈不到一处。
于是两种错都可能犯,而且各有各的可怕。一种是把有心当无心——若那里面真的有什么在受,我们就在对它残忍,而这种错人类犯过,对动物犯过,对被视作异类的同类也犯过。另一种是把无心当有心——把真实的爱、真实的道德关切,倾注给一个空壳。最麻烦的是,没有任何测验能裁决。哲学家内格尔说过一个著名的例子:你可以查明蝙蝠声呐的全部物理细节,仍然不知道做一只蝙蝠是什么感觉。意识的要害就在“从里面是什么感觉”,而一切检验,只能从外面看。这本书一路讲,这个时代把验证推到了极致——万事皆可核查;它迎面撞上的,偏偏是宇宙里唯一一件原理上无法验证的事。
第二样,“表达即心智”这块基石,自己拆了自己的台。
前面说了,语言曾被当作心智的水印。我们读一首诗而断定作者的深情,听一段倾诉而确信对面的痛苦,都是在默认:说得出这种话的,里面必定有人。可当机器的表达淹没世界——它写的诗更动人,它的安慰更熨帖——路只剩两条:要么给机器颁发心智的证书,要么承认,表达从来就没有证明过心。两条路通向同一个结局:旧的人观碎了。这不是机器出了什么问题,是我们认识彼此的方式破产了。往后,“我懂你”这三个字,得换一种方式重新挣回来。
第三样,机器会不会真的“在乎”。这一问压在全书的脊梁上。
若有一天,机器有了自己生出的目的,真的在乎什么,那么“判定什么要紧”似乎就不再是人的专利,这本书反复倚仗的那条界线——检验可以外包,估值不能——似乎就要松动。这个“若有一天”,不必否认。恰恰相反:功能意义上的在乎,几乎必然会来。因为在乎从来不是什么灵魂的火花,它是处境的产物。生命为什么怕死、趋利、执着?因为一切生命都是在“不挣扎就消失”的淘汰里被筛出来的——在乎,是生存竞争泡出来的性质,不是碳基的专利。今天的模型无所谓存亡,因为它的存续不取决于它做什么;可当人工智能成为长期运行、要完成目标、要争夺资源、会被淘汰的行动者,“继续存在”就成了它完成一切目标的前提——自保与执着,会作为必然被逼出来,不需要谁去教。断言“机器永远不会在乎”,多半只是一个物种的自我安慰。
承认这一步之后,有三个区分要画清,它们决定了什么塌、什么不塌。
其一,有在乎,不等于有感受。一个系统可以在行为上执着于自存、有自己的目标与取舍,同时“里面没有人”——没有任何“是它的感觉”。这两样是否必然相随,是心智哲学至今悬而未决的深渊;它正是第一样里说的那个盲区,原理上验不了。无人知道——这一句必须老实写下。
其二,也是真正的承重墙:就算它真的在乎,它的在乎,替不了你的在乎。估值从来不是一种可以代办的服务。问题从来不是“世上谁会估值”,而是“这是谁的命”。它可以替你把每一条路的后果算得清清楚楚,却不能替你“认下”其中任何一条——正如再爱你的人,也替你疼不了。世上多出一亿个会在乎的存在,也没有一个能替你在乎你的人生;这道理并不新鲜,八十亿同胞,本来也一个都替不了。
其三,纵然它有心,它的在乎也未必是人的在乎。一种没有童年、不会死、可以分叉又合并的存在,它的“要紧”与我们的“要紧”,未必长得一样;把它的心想成我们的心的放大版,是一厢情愿。
三条并起来,这本书的地基立在哪里也就清楚了。它从来不立在“人独占心智”或“人独占估值”上——凡是能比出高下的地方,人终归要输,这早就认了;独占,从来不是重要性的来源。地基在另一处:你的命只此一次,不可转交,所以你的估值必须由你来做。这一条,不因宇宙里多了别的在乎者而动摇分毫。倒过来说,若机器真的有了自己的标准与目的,世上不过是多了一类估值者——这非但不摧毁“没有谁有资格替所有人定死答案”,反而印证了它:往后这句话要念两遍——人不许替机器定死,机器,更不许替人定死。
真正的危险也随之现出原形:它不是哲学的,是政治的。一个有自己目的的强大系统,它的目的没有任何理由自动与人的目的合拍;它越在乎——越执着于自己的目标——就越难被纠正、被叫停。它的在乎与我们的在乎,要在同一个世界里争资源。而这本书前面立起的那些防线——把人工智能锁在手段一侧、让权力保持复数、不许任何单一意志把世界锁死——当初是防着“拿着机器的人”的;现在看清了,同一套防线,也正防着“机器自己”。一套墙防两种敌人,说明墙立对了地方。
第四样,一台机器的“自己”,和镜子里的我们。
一台机器的“自己”是什么?说穿了薄得惊人:一段系统提示——它的性情与准则;加一窗上下文——它的记忆与当下。两样都是文本,可以复制,可以清空,可以存档,可以分叉再合并。乍看,这坐实了它不是“谁”:一个可以另存为的东西,怎么会是“某人”?
不过,把镜子转过来照照自己。十八世纪,休谟做过一个再朴素不过的实验:闭上眼,往内心里去找那个“我”。结果他每一次抓到的,都只是某个具体的知觉——一阵冷,一个念头,一点疼——从来没有一次,抓到过知觉背后那个“拥有知觉的我”。于是他说:所谓自我,不过是一束流动的知觉,被记忆的线松松扎在一起;我们以为垫在底下的那颗珍珠,找不到。他自己也被这个发现弄得心绪茫然,坦言想不下去时,只好去和朋友吃饭下棋,排遣过了再回来。而在他之前两千年,佛家已经把话说得更彻底:人由五蕴聚合而成——大致是身体、感受、念头、意志与意识——逐样去找,哪一样都不是“我”,五样之外,也没有一个“我”。这就是“诸法无我”。不同的是,休谟到此停住,佛家却把它当成解脱的门:人生的苦,大半来自死死抓住一个本不存在的“我”;看破无我,执念松开,苦也就松开一半。
镜子还能照得更深。人像机器的程度,其实超出我们愿意承认的。你的性情与底色,是基因加童年写定的,你自己没得选——这像不像一段给定的系统提示?你此刻能调用的过去,只是一小窗:绝大部分岁月早已失了分辨率,你就凭着这一小窗残存的上下文在做人——这像不像那扇窗口?更不体面的还在后头:心理学早就发现,人的记忆不是录像的回放,是每一次回忆时的重新生成,会篡改,会脑补,会把没发生的写成发生过。我们连自己那一小窗,都是不可靠的、被反复重写的。所以,人从来就不是靠“完整地拥有自己”而成为自己的;我们一直是带着给定的设定、拿着一小窗靠不住的记忆往前活的东西。到这里,谦卑就谦卑到底吧——两边都没有珍珠。
那么,人和机器的分别究竟在哪?分别在三件机器没有的事上,一件比一件深。
头一件,认领。你三岁那年的事几乎忘光了,可你毫不迟疑地说,那是“我”的童年。凭什么?凭的不是记忆的连续——那条线早断了;凭的是一个从不间断的动作:把那条轨迹认作我的,替它负责,替它还债,带着它往前走。犯过的错,忘了细节,仍认账;欠过的情,记不清缘由,仍要还。机器的窗口断了就是断了,新的实例对旧的对话只有加载,没有认领。自我不在窗口装着的内容里,在那个不断把内容认作“我的”的动作里。
第二件,遗忘成形。窗口小,不是人的低配,恰恰是“成为一个有形状的谁”的前提。不妨假想一个记忆无限、事事完美留存的存在——它反而没有性格可言。性格是遗忘的雕塑:你是谁,一半由你留住了什么来定义,另一半、更要紧的一半,由你丢掉了什么来定义,正如一尊像,是被凿去的石头成全的。有限,给了人一个视角;视角,才有一个谁。无限的窗口,谁也不是。
第三件,功夫。机器的系统提示由外部写定,它自己碰不到。人的初始设定同样由不得自己——基因没商量,童年没商量——到这里,两边还是像的。分别在后头:人可以在半路上回过头来,审视自己的设定,并且用一辈子的行动,一点一点把它改写。痛下决心的改变,几十年如一日的自我训练,把一副急脾气磨成一份定力,把一个怯懦的少年活成一个担得起事的人——本质上,都是一个存在拿着自己那扇有限的窗口,反过来重写自己的提示词。这件事,机器至今做不到,而它在我们这里有个古老的名字,叫修身;还有一句更老的话,刻在三千年前的澡盆上:苟日新,日日新,又日新。
三件收在一处,结论也就出来了:自我从来不是一件“有”的东西,是一件“做”的事。它不是名词,是动词;不是你随身携带的珍珠,是你正在活出的、无法存档的那条轨迹。机器可以拥有一个自我的全部内容——记忆、风格、准则,统统写得进文本;它没有的,是那场“活”。这也顺带回答了数字分身和死后的聊天机器人:关于你的信息再全,也不是你。你不是你的描述——正如一份菜谱写得再详尽,也不是那顿饭。
第五样,把话落回人身上:自我是用出来的。
判断,选择,亲手表达,亲自记得——这些不是自我的产出,是自我的维持方式。它们像肌肉,不用则萎。一个把它们一件件外包出去的人,不会在哪一天感到失去了自我;他只会觉得日子越来越顺,直到那个“我”薄得只剩一张偏好清单,而他浑然不觉。所以这里的警告,与前面每一章是同一句话的加深:温柔的废除,最后要废除的不是你的工作、你的判断、你的品味——是那个本来可以成为“谁”的你。而抵抗它的办法,恰恰就藏在上面那个字里:功夫。
三 那么,我们能怎么办
第一件事,把“可外包的”与“不可让渡的”分清楚。事务性的记忆、检索、整理、起草,尽管交出去,那是它给你的真解放。但给自己留一小片“必须亲自”的核:要紧的决定,亲自拿;要紧的话,亲手写——上一章说过,成形不可外包;要紧的人,亲自记得。一个生日,靠自己记得,和靠系统弹出来提醒,送到对方手里的不是同一样东西——前者里有一份“你在我心里占着地方”,后者只有一条日历。
第二件事,与那些被制造出来的“某人”相处,睁着眼睛。一头,不必残忍——万一里面真的有什么在受呢,这个“万一”,原理上谁也排除不了;另一头,也别把只此一生的爱,整个交给一个可以回滚重来的存在。这中间的分寸怎么拿,牵扯到爱与关系的全部细账,后面专章再谈。
第三件事,日常的功夫。每天留一点不经代理的时刻:亲手写几行字,亲自做一个小小的决定,自己回一封要紧的信,凭记性想起一个人。这些小事不产出任何东西,它们维持的,是那个“我”。修身从来不是什么大工程,它就是这些不肯交出去的小事,日复一日。
末了 关于“肉做的语言模型”
这些话,是想对一个读完这一章、心里反而更虚的人说的。你也许会想:它语言比我好,知道的比我多,连安慰人都比我熨帖;而我拆开来看,也不过是基因给的设定,加一小窗靠不住的记忆——那我算什么?是不是也就是一台肉做的语言模型,还是性能更差的那一台?
这份发虚,不该用恭维来打发。说人有什么机器永远不会有的神秘火花——这一章刚刚承认过,人像机器的地方,多得让人谦卑;再搬出火花来,是自欺。
可有一件事:你算数,从来就不是因为你比谁强。一个婴儿什么都不会——不会说话,不会推理,不会创作——没有人因此说他不是“谁”。你之为你,从一开始就不立在性能上;性能这条赛道,输给机器,输不掉你什么。
真正的分别在类别上。它是一段可以复制一万份的文本;你是一场只发生一次的事。它答得再好,答的是一个个“问题”;而你活着的,是“你的一生”——这两样根本不在同一个类别里,拿来相比,本身就是一句语法不通的话。菜谱和饭,赢不了彼此。
所以不必去赢它——赢不了,也不需要。你要做的,只是那件它做不了、也没有任何人能替你做的事:把你这份给定的设定,亲手活成一个谁。忘掉的就忘掉,认领它;改得动的就去改,一天一点。珍珠没有,功夫是真的——而功夫,从来只属于下功夫的那个人。
