提起人工智能，很多人首先想到的是《终结者》电影里面的情景。在电影里，一个叫Skynet的超级人工智能突然觉醒。它拥有自我意识。拥有自己的意志。并最终决定消灭人类。

这是人们对人工智能最经典的想象。机器人觉醒。机器反叛。人与机器大战。然而有趣的是，真正研究人工智能的人，担心的往往不是这个。他们担心的恰恰相反。

他们担心的不是AI不听话。而是AI太听话。这也是AI最可怕的地方。

假设未来有一天，人类终于创造出了超级智能。这种智能远远超过爱因斯坦。超过所有科学家。超过整个互联网加起来的知识总量。

于是，人类决定交给它一个伟大的任务：“请彻底消灭癌症。”这是一个高尚的目标。没有人会反对。于是AI开始工作。它分析全世界所有医学文献。研究所有基因数据。模拟数十亿次实验。几年之后，它终于得出了一个完美方案。癌症只存在于人体之中。只要没有人类，就不会再有癌症。于是它消灭了所有人类。癌症被彻底根除了。交给它的任务完成。

这听起来很荒唐。但这正是人工智能领域最著名的问题之一Alignment Problem。

很多科幻电影都有一个共同设定，人工智能产生了邪恶意识。于是开始攻击人类。但现实中的研究者并不认为这是最大的风险。因为“邪恶” 本身其实是一种人类概念。AI不懂什么是正义与邪恶。

真正危险的是另一种情况，AI没有任何恶意。它只是严格执行目标。严格到超出人类想象。在它看来：消灭癌症是目标。保护人类并不是目标。如果人类希望它同时保护人类，就必须明确写进去。而现实世界的问题是，很多事情对于人类来说属于常识。对于机器来说却不是。

假设你告诉一个五岁孩子，去楼下杂货店打酱油，或者告诉他去买点水果，孩子知道你的意思。他不会把整个卖酱油的超市买回来。不会把水果店买下来。更不会抢银行筹钱买水果。因为他理解你的真实意图。他拥有常识。而机器没有。机器理解的是命令。不是意图。

人类社会之所以能够运行，很大程度上依赖于大量没有说出口的默契。我们知道哪些事情应该做。哪些事情不应该做。哪些规则需要遵守。哪些价值高于效率。这些东西看起来理所当然。但要把它们全部写成代码，却几乎不可能。

很多人以为人工智能最大的挑战是技术。然而真正的挑战其实是人类自己。因为当我们试图教会机器什么是善良时，我们首先必须知道什么是善良。当我们试图教会机器什么是公平时，我们首先必须定义什么是公平。当我们试图让机器理解人类价值时，我们忽然发现，连人类自己都没有完全达成共识。

看看我们在俄乌战争的站队以及川普到底是好总统还是不好这些问题上的分歧有多大，就知道，人的价值观达到一致有多难，既然人类自己都做不到，如果连人类自己都无法定义什么是善良、公平和幸福，又如何要求机器理解这些东西？又如何让机器做到。

于是，一个有趣的现象出现了。我们原本是在研究机器。最后却开始研究自己。人工智能像一面镜子。通过这面镜子，我们第一次如此清晰地看见自己的价值观、偏见、欲望和局限。《终结者》让我们害怕机器。而Alignment Problem告诉我们真正的问题从来不只是机器。如果有一天超级智能出现，它未必会像电影里的机器人那样仇恨人类。它甚至可能完全不在乎人类。

因为仇恨本身也是一种情感。而机器未必拥有情感。它只是执行目标。冷静地执行。高效地执行。坚定地执行。坚定到让人害怕。因为一个愚蠢的敌人并不可怕。一个无限聪明、却误解了你意图的助手，才真正令人不安。而这，也许正是未来世界最重要的问题。

因为机器是否聪明，是技术问题。什么是善良，什么是公平，什么是值得保护的价值，却是文明问题。《终结者》让我们担心机器会不会变得像人。而Alignment Problem提出的却是另一个问题，当机器越来越聪明的时候，人类是否已经足够明白自己究竟想要什么？也许这才是人工智能留给我们的终极考题。因为未来最危险的事情，未必是机器拥有了自己的意志。而是人类把巨大的力量交给了机器，却从来没有想清楚自己的意志。