当下人工智能的伦理思考多侧重于实践：如人工智能是否最终会成为人类事务的主导；该以什么伦理原则来引导、规范人工智能的应用等。可更大的挑战却是理论上的困惑：算法是人工智能的内核，不同算法实则暗含有不一样的价值选择，何谓善的算法？善的算法必会导向行为的善？人工智能算法可以自我学习、自我进化，伦理上该如何看待这种智能主体？鉴于人工智能是一种典型的复杂行为，从复杂性的角度我们能更深入地揭示这些困惑和挑战。

复杂性与人工智能算法的涌现性

人工智能算法的传统通常有两个：一是符号认知主义，主张智能行为依赖于符号操作，通过基于符号表征的计算可实现学习、记忆、推理、决策，甚至情感活动，如早期的专家系统；二是联结主义，受人和动物大脑神经结构启发，认为通过大量底层简单的“激活单元”相互交织可在高层自发涌现出复杂的智能行为，这一传统以人工神经网络为代表。阿尔法围棋（AlphaGo）的成功主要得益于后一种传统，基于神经网络的深度学习实现算法的突破。

以复杂性视角观之，基于神经网络的人工智能算法有一个突出特质——涌现性，即智能是一种由算法底层的简单规则生成的复杂行为，智能并不由预定的算法前提所决定。涌现被遗传算法的创立者霍兰称为复杂世界的“隐秩序”，生命诞生、生物集群、交通堵塞等都是涌现现象。以棋类游戏智能算法为例，棋子数是有限的，游戏规则是简单的，但棋局变化的可能性却无法穷尽。棋局的最终输赢是一种涌现，决定棋局走向的不是底层的简单规则和某一手出棋，而是由它们生成的更高层的组织过程。

人工智能算法的涌现性具有这样一些特点：1）智能行为不是一种底层简单规则的加和，而是从底层到高层的层次跨越，高层具有底层个体所不具备的复杂特性；2）无法通过底层算法来准确预测高层的涌现，智能是算法前提无法决定的“新奇性”；3）涌现不是单一行为而是由众多简单个体行为到复杂集体行为的演化。智能行为是一个过程，棋局的最终取胜不是依靠单次行为的累加，而是算法演化系列的整体取胜。阿尔法围棋在与人类棋手对弈时有一些令顶尖职业棋手难以理解的“昏招”，可这些昏招到了棋局结束时竟成为取胜的“神之一手”。这并不是证明了所谓关键招的重要性，而是表明“招数系列”比“某一招”更有意义。在伦理上，涌现性特质揭示出人工智能算法具有不同于传统的行为特征：人工智能算法行为不是边界清晰的单个行为而是集体行为的演化，其行为效果既不由“某一”行为所决定，亦不由其前提完全决定。若将人工智能描述为“一个行为”是不恰当的，这就好像说涌现的鸟群只是一只巨大的鸟。人工智能行为也不应被误解为基于单一理性原则的严格推导，行为原则与行为结果之间并不存在必然的联系。事实上，正如人工智能科学家威诺格拉德等指出，人工智能实现其目标的过程所遇到的困难常被看作是理性观点的失败。

人工智能算法的自主性与分布式智能体

人工智能算法的另一个复杂性特质是算法的自主性。冯·诺依曼于20世纪50年代初成功建立了一个能够自我繁殖的元胞自动机算法模型，它成为第一个可以自我进化的算法。当下人工智能深度学习算法可以从海量无标注的大数据中自我学习、自我进化。阿尔法围棋一代曾依据人类历史上的优秀棋谱，对弈了3000万盘棋，二代强化了自我增强学习。如果智能算法的自主性意味着机器不再是被动的工具，而是某类主动的、自我进化的“生命”（如人工生命），那么我们是否能说人工智能就是一个具有自我意识、能够自我决定的“主体”？以算法的观念来看，理性传统所认可的这种“主体”其实是一个能够协调个体自身复杂行为的中心控制单元，它担负该个体所有信息的整合和全部行为的控制。强人工智能自主性遵循这一传统，人们认为未来的人工智能不仅具有感知对象、解决问题的智能，还可能具有感知自我的意识。弱人工智能的自主性主要是指智能行为的自组织性，机器算法会在没有人类程序员的干预下自发学习，自我进化，自动处理问题，以分布式控制算法为其代表。强人工智能主体在技术上目前还遥遥无期，常常成为科幻作品的题材。弱人工智能的分布式控制模式目前已在人工智能领域得到广泛应用，形成了一种完全不同于传统的主体观念。凯文•凯利在《失控》一书中把这视为智能机器人的一个革命。

我们通常不会把虫子当作智能生物，但虫子却能轻松翻越复杂地形和障碍物。从中心控制的视角来看，这一现象难于理解。虫子的翻越行为涉及庞大的计算，计算量远远超出了虫子智力的可处理能力。科学家反复研究发现，虫子能够实施复杂行为的奥秘源于分布式控制。虫子的每一条腿均可视为一个局部处理单元，每一单元信息处理量极低，独立进行简单运动，但却在在交互中涌现出了复杂行为。每一分布式单元个体被称为“agent”，通常译为“主体”，也译为“智能体”或“智能主体”。智能体可处于不同层级，它可以是一个局部处理单元，也可仅是一段具有特定功能的算法代码。以分布式主体而言，智能行为不是单一主体的行为，而是大量简单智能体交互的集体行为。人工智能先驱明斯基曾指出，单个智能体是没有意识的，但许许多多智能体组织起来，便形成了智慧思考。这就是所谓的“集愚成智”，表面上看来虫子的“主体”似乎很聪明，实质上却只是诸多分布式智能体的“无意识”交互。至此，传统的中心控制式的主体观念受到了严峻挑战：并不是先有一个主体，然后由其实施行为；而是先有无意识智能体的交互，然后才涌现出一个主体！

善法何以可能？

要回答什么是善的算法，我们需要追溯伦理学的一个基础问题：什么是善的行为？该问题的又可转换为，什么是正当的行为？作为主体的“我”应该如何行为？道义论者更强调行为原则的正当，功利论者更看重行为结果的正当。在英国伦理学家乔治·摩尔看来，不论是从功利论还是道义论出发，一个行为是“正当的”在很大程度上就是指“这一行为会产生可能的最大总量的善”，而“我”应当按此善的原则实施某一行为。理想的正当行为不仅要知道其当下的行为效果，还必须知悉整个行为因果链条中的全部效果；不仅要明白该行为对“我”的影响，还应了解该行为对“我们”，即所有主体（通常指人类）的影响。这一理想不仅预设了主体的在先性，还其实预设了主体、行为及其效果的严格对应：1）某一行为对应着某一效果，反之可依据行为效果判定行为；2）主体对其行为负责，反之，可依据行为来追述主体；3）某一行为的正当与否归根到底取决于行为因果链整体的总善。这三个原则在传统的伦理实践中大抵有效，但在人工智能的伦理实践中则会面临理论上的根本困难：算法的涌现性使我们必须面临智能行为内在的不确定性，不仅难于考察单个行为效果，其整体行为效果的“总善”更难以估测。算法的分布式主体性则表明，在算法的高层并不存在与行为整体效果对应的主体，我们也很难把整体效果归因于诸多低层智能体的行为，任何分布式智能体都不决定整体。

2015 年 5 月，美国人约书亚·布朗在使用特斯拉 Model S的“自动驾驶”模式时遭遇严重车祸身亡，成为人工智能发展中的重要事件。该事故历经了十个多月的周密调查，最后归责为驾驶员过于信任人工智能，手没握住方向盘，人工智能得以免责。不久的将来，人工智能必会让我们可完全摆脱方向盘，智能驾驶系统由厂商的机器人制造，其算法不断自我进化，无缝嵌入庞大的物联网中，行进于更多智能体交互的开放环境，并与它们共同形成了一个不断自我演化的复杂算法整体。在这一整体中，厂商、机器人、使用者、众多智能体等都是造就整体的个体，但并不存在对整体负责的“主体”，此时我们在伦理上可能面临根本的挑战：智能行为既不遵循行为与效果之间的直接对应，也不遵循行为与主体之间的必然联系，我们该如何做出一个恰当的道德判定？如果智能行为的涌现是理性原则的失效，我们如何从行为原则的角度来评判其行为的善，又如何能通过道德代码的嵌入来使之成为善的算法？如果道德主体实质上是诸多分布式智能体的组织过程，什么是“我”的正当行为呢？面对人工智能的这些深层挑战，最为重要的不是一味地退缩和担忧，而是在挑战中与其共同进化和成长。 

（中国人民大学 刘劲杨，本文首发于《光明日报》2017年9月4日理论版，首发时有删减。）