有些变化来得无声无息。不知从哪一天起，人们开始拿最私密的道德难题去问机器了：该不该原谅出轨的丈夫，要不要举报造假的同事，把失智的母亲送去养老院算不算不孝。它答得耐心，周全，不偏不倚，不打断你，也不评判你——说实话，比多数人身边任何一个活人都答得好。
人工智能给伦理学出的题，浅层是一张新难题的清单：自动驾驶在两条命之间该撞哪一条，机器写出的作品算谁的——这些会有人争论几十年。清单上的题各有各的答案，比如作品归属，根子在“这话是不是从一段真实的人生里说出来的”，谈文化的时候已经说过。但更深的一层不在清单上：不是多了几道新题，是道德能力本身的处境变了。判断，可以外包给一个比你冷静、比你公正的顾问；生死攸关的分配，可以交给一个不会失眠的系统；闯了大祸，可以没有任何一个人算得上凶手。良知、责任、担当——这些词赖以成立的土壤，正在被翻动。
于是有两问躲不开：当道德判断可以随手外包，一个人的良知还练不练得成？当系统闯了祸、也当系统做了对的决定，谁来认领？而这两问最见真章的地方，是一个正在被彻底改写的行当——医疗。至于人会不会爱上机器，那是下一章的事；道德这门功课怎么教给孩子，后面谈教育时再说。
一 会发生什么
第一件事，道德顾问普及了。
从前，一个人遇到良心上的难处，能问的人屈指可数：长辈，挚友，先生，神父。这些人未必智慧，未必公道，还常常带着自己的立场，可他们稀缺——你一年也未必肯开一次口。如今，一个全天候的顾问住进了每个人的口袋：随时可问，永远耐心，见多识广，没有私心。道德咨询从稀缺品变成了自来水。这当然有实实在在的好处——多少人从前无处可问，把难处憋成了病。可判断外包的引力，也头一回对准了良知这块地方：既然它答得更好，为什么还要自己煎熬？
第二件事，道德劳动在批量自动化。
这条内容该不该删，这笔贷款给不给，这个人量刑参考几年，这张病床先收谁——无数原本要有人皱着眉头拍板的决定，正在成批交给系统。交出去的理由都站得住：系统一致，不看人下菜碟，不受昨晚没睡好的影响，还能给出解释。只是有一样东西随之消失了：从此，这些决定无人认领。它们被“做出”了，却没有谁“做了”它们。
第三件事，闯祸的也开始无人认领。
自动驾驶撞死了人。司机没有开车；工程师没有写过“撞他”这一行——系统是从海量数据里学出来的，没有人逐条写过它的决定；公司只是卖了一件合规的产品；数据来自千万个无名的人。每一环都真实地出了力，可每一环单拿出来，都够不成一个传统意义上的责任人。这类事故会越来越多，而每一桩的结尾都相似：赔偿谈妥了，报告写完了，可“到底是谁的错”这个问题，悬在半空，没有落处。
第四件事，医疗的前线正在易手。
诊断超过最好的医生，是指日可待的事——读片、验血、判断疑难杂症，机器比人快，比人准，见过的病例比任何名医一辈子见过的都多。与此同时，分配的算法开进了医院：器官给谁，重症监护室收谁，紧缺的药先发给哪个，越来越多地由系统排序。救人的本事在暴涨，而“由谁来担”的问题，跟着一起来了。
二 根上动摇了什么
先说良知是怎么来的。
亚里士多德讲过一个朴素的道理：人是靠做公正的事变得公正的，靠一次次节制变得节制的。德性不是一种知识，是一种习性——不是你先弄懂了“什么是勇敢”然后照做，是你一次次硬着头皮上，勇敢才慢慢成了你的第二天性。孟子从另一头说了同一件事：恻隐之心人皆有之，可那只是“端”，是一粒种子；要在一件一件真实的事上“扩而充之”，种子才成得了德。两个传统，东西相隔万里，说的是一个意思：道德不是一套可以查询的答案，是一种由实践养成的能力。
而养成的路只有一条：亲自在两难里煎熬，亲自拍板，亲自承受后果，半夜后悔，下次修正。谈文化的时候说过，对内心而言，表达不是运输，是成形——良知也是一样：你不是先有一颗现成的良心再拿去用，是在一次次亲自决定里，那颗良心才慢慢成形。把两难交给机器，你得到的答案也许确实更好；可那场本该把恻隐的种子磨成德性的煎熬，没有发生。问得越多，良知越薄。谈真实的时候见过认知上的巨婴——见多识广，却从未被反驳过；这里会出现道德上的巨婴：道理讲得头头是道，却从未疼过。一旦两难真的压到自己身上，没有顾问可问的那一刻，要么瘫痪，要么翻脸。
可马上有一个反问要认真对待：如果它真的比我公正呢？它没有我的自利，没有我的盲点，不会迁怒，不会偏心——听它的，岂不是比听我这颗毛病众多的良心，更道德？我坚持自己判，错了算谁的？拿别人的福祉，给我自己的“道德修养”交学费，这本身道德吗？
这个反问有真分量。头一层，先让出该让的地方：在后果压倒一切的领域——手术台上，方向盘后——谁判得准，就该听谁的。拿人命去赌自尊，不是德性，是傲慢。但就算在这里，采纳更好的判断，和交出承担，是两回事：方案可以是它算的，签字的手必须是你的。第二层，在另一类事情上，“更优解”这个词根本不适用——原谅不原谅，忠诚不忠诚，留不留下。这些事的意义，有一半就在“是你亲自看见、亲自认下的”。一个只因为被告知“该原谅”而原谅的人，算不上宽宏，只算听话；他的原谅里没有他。机器能替你把后果算尽，不能替你“认”——检验与估值那条一路讲下来的界线，在道德上就划在这里。
第三层最深。道德，也需要能够被纠正。一个训练于人类当下共识的裁决者，无论多么公正，它公正的尺子就是“今天”——它会把道德钉死在此刻。可回头看，道德史上每一步进步，都始于某些良知违逆当时的共识：废除奴隶制的人，最初被视为疯子；争取女性权利的人，被判为伤风败俗；把动物纳入关切的人，被笑作矫情。每一次，都是少数人的心先于时代疼了起来。倘若人人遇事都去问同一个道德顾问，而它给出的永远是当下共识的最优表达，那么道德的先锋就死了。谈文化的时候说过先锋之死——品味的先锋死了，可惜；道德的先锋死了，是下一场废奴运动无处发生。所以界线要这样画：咨询可以，裁决不行。让它替你列后果，照出你的盲点，替你把反对你的理由讲到最强——然后，那一声“我认”，必须由你自己发出。谈政治时说过，人工智能要锁在手段一侧，裁决留给人；这条线，要一直画进每个人的内心。
接着说责任——出了事，谁来认。
人类几千年的责任观，立在一条链上：谁的行为，谁的意图，谁担责。杀人者偿命，是因为行为背后有一颗起了念的心。而如今的系统，造出了一种全新的东西：有行为，没有行为人。它实实在在做出了决定——转向，加速，放弃左边那个人——却没有任何一颗心，起过任何一个念。责任的链条，从中间断开了。
真正的危险，还不是法庭上找不到被告——那是技术性的麻烦，总能凑合出办法。真正的危险在另一面：责任的真空，天然向着强者倾斜。撞了人，公司说是算法的局限，算法说是数据的偏差，数据说是社会的旧账——责任像水一样渗进系统的缝隙里，最后地上只剩下受害者一个人。谈政治时说过，暴力的无人化，让权力甩开了对人的依赖；这里是同一件事的民事版本：伤害的无人化，让强者甩开了对受害者的亏欠。一个“没有人做错任何事，但人确实死了”的世界，是道德上最冷的世界——连恨都找不到对象，宽恕都无处投递。
出路在一个古老得出人意料的地方。无心之物闯祸，人类其实早就见过，也早就有办法：罗马法里，主人为奴隶的损害负责；船东为船负责；今天，父母为未成年的孩子负责，雇主为雇员负责。这套古老安排里有一个很深的道理：问责，不必找到起念的那颗心，只须找到放它出门的那个人。你造了它，放它上路，从它身上获利——它闯的祸就是你的祸，不必证明你有恶意，甚至不必证明你有疏忽。当意图的链条断了，责任就得改挂到另一条链上：获益与控制。谁享其利，谁担其害；谁有权关掉它，谁就要为没有关掉它负责。
这条线还顺带封死了一个危险的口子。给机器立“法律人格”、让它自己担责，听上去像思想进步，实际上是一套完美的卸责术：惩罚一个不会痛的东西，等于谁也没有受罚；罚它的“财产”，股东转身把公司照旧开下去。最盼着机器有人格的，从来不是关心机器的人，是想从责任里脱身的人。所以有一条要立成规矩：无论机器表现得多像“有人”，责任永远向上走，走到人为止。这不是因为机器里面一定没有人——那件事谈自我的时候说过，原理上验不了；是因为责任的全部意义，就在于它必须落在一个能痛、能赔、能失去自由的存在身上。责任，跟着痛走。
这是闯祸的一面。还有另一面，事情办对了，却同样没有人在场。
器官只有一个，等着的人有五个；重症监护的床位，收了这个就收不了那个。这类决定，无论怎么选，都亏欠了没被选中的人——他不是该死，只是没被选上。从前拍板的医生和委员会，选完常常睡不着，而那份失眠不是心理的毛病，是对被舍弃的那条命最后的承认：你本来也该活。如今，这样的分配可以交给算法：高效，一致，还附带一份说得通的解释。可决定从此成了无人之决——流程里，再没有一张会失眠的脸。
少了这份煎熬，代价是双重的。对被舍弃的人，他的死从一场悲剧降格为一次行政结果：没有人亏欠他，他只是“未获匹配”。对整个社会，失去煎熬，就失去了改变上游的压力。委员会的彻夜争吵从来不是低效，那是文明在向“本不该有人死于等待”这件事，一年一年交着的税——交这份税的人，才会去修上游：扩床位，催捐献，改制度。税一免，上游就再没人修了。话说回来，这不是要求每一个分配者被压垮——煎熬可以由制度分担着保留：那场会议不许省，那个签名不许省，给落选者家属的那封信，不许由机器代笔。
两面合起来，要说的话也就出来了：道德世界能不能维持下去，系于一件很朴素的事——总得有一个人在场。坏结果，要有人认领；好决定，也要有人失眠。
顺着“在场”往下说，正好走到医疗的另一问：当诊断被机器拿走，医生这个行当还剩下什么？
医学界流传一句老话：有时治愈，常常缓解，总是安慰。机器要拿走的，是第一件的大半——而且拿得对。诊断是检验，判准清清楚楚，它比人快、比人准、见得比人多，这份外包，病人只会受益，拦着不放才是私心。可剩下的两件，恰恰全系于人的在场。同一个坏消息，由屏幕弹出来，和由一个坐下来、放低声音、讲到一半停顿了一下的人说出来，落在心上是两回事；深夜的恐惧，要的常常不是更多信息，是一只手。更要紧的是，病床边真正的难题，从来不是“这是什么病”——那是检验；是“这条命接下来怎么用”：保守治疗，还是放手一搏？治到什么程度停？哪些罪值得受，哪些日子该留给家人？这是病人自己的估值，天底下没有最优解。他需要的不是一个答案，是一个懂行的人，坐在床边，陪他把这笔账掂量清楚。所以医生这个行当不会消失，它会被逼回自己的本源：诊断交出去，在场收回来。
再往根上挖一层。前面说的还都是“判断”与“承担”；可道德的地基不在判断，在看见。
见义勇为的人，不是先判断“此处应当勇为”再去执行——他是看见了那个落水的孩子，看见的同时，手已经伸出去了。孟子举的正是这一瞬：人乍见孺子将入于井，皆有怵惕恻隐之心。那不是推理的结论，是看见的那一下心颤。道德的全部大厦，立在这一颤上。反过来，冷漠的人多半不是判断力差，是根本没有看见：同事脸上的憔悴，母亲电话里那半秒的迟疑，外卖员在雨里抬头的那一眼——视网膜上都有，心里没有。
那么，人工智能真正动到的是什么？它没有碰你的判断力——它动的，是你与真实他人照面的机会。把前面几章的线收在一处看：文化在变成一个人对着一块屏幕；一个永远顺着你的声音，在悄悄替掉身边那些不顺着你的人；系统把讨厌的、麻烦的、气人的，都体贴地替你滤掉了。合起来，在道德上只意味着一件事：那些真实的、会麻烦你的、不请自来的他人，正在从每个人的日常里被过滤出去。而道德，恰恰只在不请自来的他人面前才被唤醒。有一位在战俘营里度过战争的哲学家说过，伦理始于他人的脸——那张脸出现在你面前，无声地向你提出要求，你无法预先同意，也无法拒绝它的降临。照这个说法看，一个由推荐、代理、过滤组成的生活，说到底，是一套防止陌生的脸降临的系统。生活被打磨得越顺滑，你撞见“需要你的人”的机会就越少；撞不见，那一颤就无从发生；那一颤总不发生，恻隐就永远只是一粒没发芽的种子。道德巨婴的病根就在这里：不是他学坏了，是他的世界里，没有脸。良知不是被腐蚀的，是被绕过的。
最后一层，把上一章的话接过来。
人类整套道德词汇，都是按人的有限校准的。勇敢，预设了怕；慷慨，预设了给出去会心疼；诚实，预设了说真话要付代价；忠诚，预设了有别处可去的诱惑。细看每一种德性，都是对某种匮乏或软弱的克服——谈人生意义时说过，人活在想要与得到的距离里；德性，就是那段距离在人品上结出的果实。那么把丰裕代进去，问题就来了：从取之不尽的家底里划出一笔，还算不算慷慨？当体贴可以由机器代办得无微不至，“体贴”还有没有练习的场地？当说真话的后果总有系统替你兜底缓冲，诚实还算不算勇气？可以说，德性正在通货紧缩：不是人变坏了，是德性赖以计价的那个“艰难”，被一点点抽走了——善行还在发生，只是每一件的含金量都在跌。谈人生意义时说过，达成在贬值；这是同一件事落在人品上，而且更伤。成就贬值，伤的是自己的意义感；德性贬值，伤的是人与人之间的信——我怎么知道你对我的好，是你的好，还是系统替你安排的顺手？
可顺着这条路走到底，反而走出一个亮处。当外在的“不得不”统统被免除，德性的分量，就只能落到自愿承担的艰难上——这正是上一章说的自愿立约，落在道德里的样子。丰裕时代的慷慨，不再是从紧巴的日子里挤出一份，而是一个本可以彻底置身事外的人，选择让别人的难处成为自己的麻烦；丰裕时代的忠诚，不再是无处可去的守着，而是一个处处可去的人，选择不走。这反而把一个很老的直觉救活了：德性从来不在行为的表面，在“本可以不”三个字里——本可以不管，管了；本可以不来，来了；本可以让机器代劳，亲自去了。人工智能免除了一切“不得不”，恰恰头一回，让世上所有的善，都成了纯粹的“本可以不”。这样看，道德并没有贬值——是道德的成色检验，头一回变得干净了。
三 那么，我们能怎么办
对一个人，几件事。
第一件，把它当磨刀石，不当法官。遇到难处，尽管问：让它替你列全后果，照出你的盲点，把反对你的理由讲到最强——这些都是它的长处，用足不丢人。然后合上它，自己判。在人命关天、它确实判得更准的地方，听它的方案，但把签字的手留给自己；在原谅、忠诚、去留这些事上，连方案也别要——那里没有最优解，只有你认不认。
第二件，守一张“必须亲自”的清单。道歉，亲自道；告别，亲自去；最难开口的那句话，亲口说。这些事机器都办得更得体，可得体不是它们的要点——要点是“是你来了”。
第三件，守住被打扰的可能。留在有陌生人的地方：坐一坐让你撞见疲惫面孔的地铁，接那个不太方便的电话，别把顺路帮个忙的机会全让给跑腿的机器。谈人生意义时说过，给自己留一个不肯配合的对手；这里是它的姊妹篇——给自己留一些不请自来的人。前者磨的是你的力气，后者养的是你的心。
对制度，两条。其一，凡是分配生死、自由与机会的算法，标准必须公开，必须有具体的人签字负责，必须留出人工复核的通道；那场彻夜的会议、那封给落选者的信，不许省，不许代笔。其二，责任的立法要朝一个方向走：谁部署，谁获益，谁担责——严格到不必证明恶意；并且明明白白地堵死“让机器自己负责”这条路。责任向上走，到人为止。
对医疗，一句话：医学教育的重心，该向“在场的技艺”迁移了。诊断尽管放手交出去，但怎样告知一个坏消息，怎样陪一个人做那笔没有最优解的账，怎样在最后的日子里坐在床边——这些从前被当作医术边角料的东西，往后是这个行当的本体。
末了 关于不敢自己拿主意
这些话，是想说给此刻的你——如果你也发现自己遇事越来越离不开它：点什么菜要问，报什么班要问，简历这样写行不行要问；后来，该不该跟这个人继续走下去，要不要把真话告诉朋友，也开始问了。它每次都答得好，你每次都松一口气——可不知从哪天起，不问一声，你什么也不敢定了。偶尔你会心里一沉：这日子过得挺顺，可拿主意的那个人，好像不是我。
先说公道话：这不是你软弱。判断这回事，和力气一样，是用出来的；身边搁着一个从不出错的参谋，谁的手都会慢慢松开。你只是练少了——练少了的东西，练回来就是。
几件小事，今天就能做。头一件，小事一律自己定：吃什么，穿什么，周末去哪。定错了也就错一顿饭，可正是这些无关紧要的小拍板，是判断力的日常口粮。第二件，遇到要紧的事，先自己把判断写下来，再去问它——让它当第二意见，别当第一反应。它说得再好，也要跟你自己那份对一对，看看差在哪里；差的地方，往往正是你该多想的地方。第三件，给自己留犯小错的余地。错，是判断力的学费；一个不肯交学费的人，永远出不了师。
还有一句要紧的，是这一章真正想留给你的：今天这些小小的拍板，是在给将来存本钱。人这一生，总会遇上一两件谁也问不了的事——病床前的那个决定，感情里的那个去留，深夜里只有你自己面对的那道题。到那一天，能靠的，就是今天一顿饭、一件衣裳练下来的这点肌肉。
所以从今天起，每天留几件不问它的事。自己定，定了认。你的人生需要一个拿主意的人——那个位置，谁坐上去，谁就是你。