【大都讲坛】李修全：“人工智能的风险挑战与治理”讲座实录

B D A I L C 

 欢 迎 关 注 

荡舟 · 吴冠中 

“人工智能的风险挑战与治理”

讲座实录

主讲 / 科技部中国科技发展战略研究院研究员

国务院《新一代人工智能发展规划》起草组主要成员

李修全

整理 / 黄圆胜 李瑞 贺强玉 

各位老师、各位同学大家晚上好。非常感谢科技部中国科技发展战略研究院研究员、国务院《新一代人工智能发展规划》起草组主要成员李修全先生，今天能够来法大分享他在人工智能这一领域的研究心得。今天讲座的主题是“人工智能的风险挑战与治理”。今天同时到场的还有清华大学法学院鲁楠副教授、科技部中国科技发展战略研究院袁立科副研究员、北京师范大学法学院马剑银副教授、中国社会科学院大学互联网法治中心执行主任刘晓春、中国政法大学刑事司法学院李小恺讲师、《文化纵横》杂志执行主编余盛峰博士、中国政法大学法学院董静姝讲师以及来自京东、美团等企业的代表担任与谈嘉宾。下面有请李修全研究员发言，大家欢迎。

各位老师、各位同学大家晚上好。非常感谢汪老师的邀请！很高兴今天有这样一个机会，能将自己在人工智能这一新兴领域的研究心得和学习体会和大家分享、探讨。我们知道，近几年人工智能在全球范围内加速发展，掀起了技术发展的潮流，就人工智能的发展阶段而言，目前人工智能已经在部分领域取得突破性进展，并开始向多个行业渗透和应用，未来将成为新一轮经济社会变革的核心驱动力。信息技术变革所催生的数字经济是当前全球经济发展的主要动能之一，2017年全球市值最高的十大巨头企业中有七家企业的发展模式为数字化经济模式，包括美国和微软、谷歌以及中国的腾讯和阿里巴巴。智能化时代的来临将大大拓展数字化经济发展模式的深度和广度，为经济发展带来新的广阔空间。我国对迎接智能化时代给予了高度的重视与战略定位，国务院《新一代人工智能发展规划》正是在这一背景下发布的，该规划定位为国家层面人工智能发展的中长期规划，并作为面向2030年打造我国人工智能先发优势的指导性文件。

值得注意的是，虽然人工智能的发展潜力巨大，但在人工智能进入生活造福人类的同时，仍有一系列问题有待解决。人工智能作为一种新技术，本身是中性的，它带来正面还是负面影响取决于人类如何应用它。如果缺乏规范和约束，人工智能技术就可能用于操纵公众认知、破坏商业规则，并在网络秩序、军事伦理等方面带来新的挑战和冲击。比如前不久发生的Facebook个人数据泄露和滥用事件，就是试图利用数据分析来影响和控制公众的认知和判断，从而影响其政治偏好，这有可能会破坏既有的政治伦理。也有不少互联网平台开始利用大数据智能技术，通过深挖消费者消费或者浏览记录，洞悉消费者偏好，从而利用算法“杀熟”。因为用户的消费偏好，会导致其议价能力下降，商家利用掌握的信息优势，对特定用户收取更高费用，建立起依靠个性化算法杀熟的赚钱模式。网络领域和军事领域同样面临新的挑战。比如在军事领域，2018年4月4日，有3100名的谷歌员工联名发出公开信，向谷歌的CEO Sundar Pichai 进言，要求让谷歌退出由美国国防部主导的Maven计划，反对谷歌利用人工智能解读视频图像，以提高无人机识别和打击目标的准确度。

而未来人工智能应用中的风险挑战，远不止如此。人工智能是影响面广的颠覆性技术，将向全社会各领域渗透式发展，而且其发展带有很强的不确定性，可能带来多方面的社会影响。首先人工智能的发展会导致部分行业的消失或升级换代，许多任务可能会由人工智能所完成，同时随着人工智能技术应用也会创造一大批新工作岗位，大部分人都需要学习和掌握新的技能来适应社会就业结构的调整。同时，人工智能的深度应用也可能导致冲击法律与社会伦理、侵犯个人隐私等新问题，这一系列问题将对政府管理、经济安全和社会稳定乃至全球治理产生深远的影响。人工智能对生产力的改造升级，也将带来生产关系的深刻变革，这就可能会导致不同社会群体的贫富分化逐渐加剧的局面。此外，比尔•盖茨、斯蒂芬•霍金等人也在担忧，如果人工智能发展到超级智能阶段，这时机器人或其他人工智能系统能够自我演化，并可能发展出类人的自我意识，从而对人类的主导性造成威胁。尽管目前尚处于弱人工智能阶段，如何让机器具有自我意识还没有找到任何可行的思路，但盖茨等人的警示也提醒我们需要思考人工智能拥有自我意识之后的风险。

随着人工智能技术的成熟，它们正在逐渐替代人的很多决策行为，其在伦理方面带来的新挑战也将旋踵而至。比如人工智能技术的应用，正在将一些生活中的伦理性问题在系统中规则化。如果在系统的研发设计中未与社会伦理约束相结合，就有可能在决策中遵循与人类不同的逻辑，从而导致严重后果。

再比如针对机器人的教育，未来机器人不仅有感知、认知和决策能力，人工智能在不同环境中学习和演化，还会形成不同的个性，而这是受其学习环境和学习方式影响的。作为机器人使用者，他们需要承担类似监护人一样的道德责任甚至法律责任，以免对社会文明产生不良影响。

还有需要从伦理方面考虑机器人的权力，在医疗、司法、军事等领域很多决策结果可能涉及人类生命等根本利益，其最终决策权应当保留在人类手里。如何限定人工智能在审判分析、疾病诊断和智能化武器方面的决策权，也是一个需要考虑的问题。

因此，《新一代人工智能发展规划》强调人工智能治理应与发展并重。既要加强人工智能研发和应用力度，最大程度发挥人工智能潜力；又要预判人工智能的挑战，协调产业政策、创新政策与社会政策，实现激励发展与合理规制的协调，最大限度地防范风险。

应对人工智能带来的负面影响，首先必须确保智能系统的决策行为满足社会伦理的要求。其次，系统不应做出非预期的行为，这就对系统的稳定性和安全性提出了要求。再次，要能够防止蓄意恶意使用，分为技术拥有者的恶意应用，比如前面所讲的在政治和商业领域的恶意应用，以及非技术拥有者的恶意应用，就是技术入侵和劫持的问题，比如自动驾驶汽车系统和智能家居系统的入侵，并且功能强大的人工智能工具被不法分子掌控，可能会带来更大的风险。最后，要确保系统在运行以后还能为人类所控。

在新一代人工智能发展规划里，有一个基本的考虑，就是一个体系，双重属性，三位一体，四大支撑。其中一个体系是技术创新体系，要培育中国在人工智能领域的科技创新能力。而双重属性就是要把握人工智能技术属性和社会属性高度融合的特征。人工智能对人类社会的影响和改变将远远超过之前的技术，所以在规划里把社会属性提到了跟技术属性并重的层面上。比如在人工智能研发布局中，除对我国人工智能在基础理论、核心算法，以及关键设备、高端芯片、支撑体系、重大产品与系统等方面薄弱环节进行重点部署之外，也将设立专题加强人工智能对经济社会综合影响及对策研究，包括针对人工智能发展可能带来的法律法规、伦理道德、隐私保护、文化教育、公众认知、公共治理等方面的系列综合问题开展多学科的交叉研究。

规划中也提出了几方面的具体应对措施，首先是要进行风险研判，加强人工智能技术发展的预测、研判和跟踪研究，坚持问题导向，准确把握技术和产业发展趋势。增强风险意识，重视风险评估和防控，强化前瞻预防和约束引导。

第二，就是开展立法研究。目前欧盟、美国等人工智能技术起步较早的国家和地区，已经意识到机器人和人工智能进入生活将给人类社会带来的治理问题，并着手开展了立法探索。新一代人工智能发展规划中针对人工智能立法研究方面也提出了具体措施，包括开展与人工智能应用相关的民事与刑事责任确认、隐私和产权保护、信息安全利用等法律问题研究，建立追溯和问责制度，明确人工智能法律主体以及相关权利、义务和责任等。重点围绕自动驾驶、服务机器人等应用基础较好的细分领域，加快研究制定安全管理条例，为新技术的快速应用奠定法律基础。

第三，建立伦理准则，包括建立伦理道德的框架，还有人工智能产品研发设计人员的道德规范性规则，加强人工智能潜在危害与收益的评估，构建人工智能复杂应用场景以及突发事件的冲突解决方案。

第四，就是评估和监管，建立人工智能监管体系，实行设计问责和应用监督并重的双层监管结构；促进人工智能行业和企业自律，切实加强对数据滥用、侵犯个人隐私、违背道德伦理等行为的管理，加强人工智能产品和系统评估，开发系统性的测试方法和指标体系，建设跨领域的人工智能测试平台。

此外，人工智能还应该更多地被应用于促进社会文明进步和可持续发展，这也是人工智能发展坚持技术属性和社会属性并重的重要内涵之一。比如人工智能技术在保障社会安全、打击网络犯罪、提高隐私保护等方面都将提供更加强有力的技术能力，增强整个社会的安全；人工智能的应用也会促进社会公平，减小区域差异，包括智能教育、智能医疗等技术，都将有助于减小不同地区、不同群体之间的条件差异，使他们公平地享受整个社会文明的成果。以上是我报告的主要内容，请批评指正，谢谢大家。

与谈环节

       首先，人工智能时代的确已经来临了，不管是自然科学也好，还是社会科学也好，都对人工智能表现出了非常强烈的研究兴趣。但是我想他们各自侧重的关注点是不一样的。对自然科学来说，更多的是关注技术层面。对社会科学来说，更多的是这个技术带来的社会影响方面，比如这个技术是不是我们需要的。对于社会科学来说我们会探索如下几点。第一，包括人工智能在内的科技进步是如何改变曾经塑造人类社会的生活法则。从大处来看，大到世界观和认知世界的层面，从小处来看，小的语词含义随着科技进步我们对其的理解也不断翻新，比如人类。原来我们对机器人和人类的区分非常明确，但随着人工智能的发展，就如刚才李老师所说，侵入式的人机接口，让人们能实时捕捉人类大脑皮层的信号，再与外界的机器连接。这就让机器与人类的区别不如原来那样泾渭分明。而且对人类概念的不断翻新，我们未来可能就要面临一个问题，现在虽然看起来是天方夜谭，就是我们周围的世界是真实的还是虚拟的。立法层面，我们对科技的进步要保持什么样的态度。立法上全盘接受可能是不行的，必须要有节制。但节制的界限就是我们要思考的问题。

第二，就是科技的进步比如AI的进步与我们自由的关系。法学界和哲学界都是一直在讨论的。一方面科技的进步给我们带来了很多自由，人类生活很多方面都解放了，但另外一方面，人工智能也在绑架我们的自由。比如像一些科幻小说那样，在未来，因为人工智能比我们运算速度快，比我们健壮，人类可能被他们征服。还有更为隐秘的方式就是，如今人工智能不断渗透政治、金融等各种领域。代表自由的决策权逐渐由人类让渡到机器手里，这就是自由被绑架的表现。现在我们是数据的输出和拥有者，但自由被绑架下的未来，数据的输出和拥有分离，人工智能掌握了更加全面的数据，我们就处在一种被监控的处境下。这是我们需要警惕的。

最后，很多学者对人工智能持积极态度。认为人工智能可以便利人类生活。但是我的担忧是人类社会内部的分工。虽然未来人工智能的发展看起来会便利人类生活，但可能大部分技术都掌握在社会百分之一的精英手里，百分之一的人是否有足够的动力将掌握的人工智能技术服务于剩下的百分之九十九的人呢？这是值得思考的，其是否加剧了社会的不公平？以上是我的几个问题，希望能和各位专家交流。谢谢。

汪庆华教授（主持人）：张老师讨论了能否赋予人工智能法律主体资格的问题，如今在现有技术上可能还没有达到这种程度。

张敏教授：我想补充一下，我并不认同要将人工智能赋予完全与人类一样的法律主体资格。但是可以类推法人制度。法人制度更多的是财产责任，若人工智能出现法律问题，也可以承担财产责任。

鲁楠副教授：我同意张老师的观点。如果能用财产责任解决人工智能的侵权问题，对于受害人的权利保障会很有利。

郑板桥

编辑：钟柳依

欢迎点击“阅读原文”