【智能与法】Joshua New ，Daniel Castro：算法带来新的挑战
B D A I L C
欢 迎 关 注
Wheat Field with Cypresse · Vincent Willem van Gogh
从帮助研究人员提高临床试验的参与度，到在深网上标记人口贩运的迹象，算法有望产生各种各样的社会和经济效益。[1]随着人工智能的迅猛发展，算法在帮助人们解决公共领域和私人领域中出现的更新、更大的挑战时，可以承担越来越复杂的任务，其解决问题的效率远远超过了人类，有时还能取得更好的效果。然而，这种前所未有的复杂性和扩展性也引起了人们对算法的担忧。人们担心它可能会造成现有法律无法有效应对的巨大风险。
复杂性
算法决策受到的最常见的批评是，它是一个决策黑箱（black box）——一个包含数百万数据点和数千行代码的非常复杂的底层决策模型。而且，该模型还可能随时间而改变；特别是帮助机器进行自我学习的算法，在遇到新的数据时，会自行调整其决策模型。更复杂的是，在许多情况下，研发者无法确切地说明他们的算法是如何作出决策的，而只能给出他们对算法决策的准确性有几成把握。[2]这种困难源于以下的事实：尽管研发者或者应用者可以决定让哪些数据进入算法决策系统，并且能够指示算法如何权衡不同的变量；但是通过编程来指令他们的算法对决策进行解释和论证，却是一件极难实现的事情。[3]于是，许多人将这类算法视为令人费解的且无法监管的黑箱。[4]
算法的复杂性成为困扰的原因有以下几点。居于首位的，也是最重要的一个原因是，人类的偏见可能以多种方式对算法产生影响，且这种影响可能是无意中的。算法在训练过程中所使用的数据可能存在缺陷，例如有些数据样本是不完整的或者数据本身就反映出历史上存在过的偏见，而研发者或者应用者却可能未认识到这些数据的问题。[5]例如，如果大学在录取时对某一特定人口无意中采用了不同于其他人口的不公平的录取比率，然后又根据这一不公平的历史数据对算法进行训练，该算法就会将这种存在偏见的录取比率作为决策时的参数。同样，如果开发人员在训练面部识别算法时，使用的是主要由白人男性脸部图像组成的数据集，那么该算法就可能无法准确识别出黑人女性的脸。[6]此外，算法系统可能会受到反馈环路（feedback loops）的影响，随着时间的推移而将偏见固化并放大。[7]例如，考虑这样一种情况，某一法院系统在判决同种犯罪时，例行性地对黑人施以更重的刑罚。[8]如果该法院打算使用一种决策辅助系统，该系统基于对法院历史判决数据的学习而为法官提供决策辅助，那么它将根据所学的案例建议法官对黑人判处更严厉的惩罚。随着时间的推移，它将使法官在无意识中作出更多带有偏见的判决，从而进一步扩大种族差异导致的量刑差别——这可能会使更多的黑人受到更严厉的刑罚，并导致更高的累犯率。[9]综上所述，研发者群体缺乏身份的多元性，这可能导致来源单一的开发团队无法认识到其自身无意识中的偏见将会如何影响他们的工作，例如他们可能意识不到用于算法训练的数据不具有代表性。[10]然而，在上述所有情形下，可以确信的是，这些结果都是能够避免的，因为研发者可以对这些问题作出解释并控制其算法中的偏见。
在其他的情形中，算法的复杂性会导致一些人担心公司或者政府可能会躲在算法决策的后面，以算法决策为幌子来掩护其故意的剥削、歧视或其他的不道德行为。[11]例如，在《不平等的自动化：高科技工具如何界定、监管和惩戒穷人群体》（Automating Inequality: How High-Tech Tools Profile, Police and Punish the Poor）一书中，作者Virginia Eubanks描述了印第安纳的政策制定者们是如何决定使用一种确定福利资格的自动化系统的。[12]虽然政府宣称转向自动化系统的目的是提高效率并打击欺诈行为，但Eubanks发现并无证据显示原有的确定福利资格的机制中存在大量的欺诈，而且转向自动化系统后，错误地否认福利资格的情况大量增加。于是她认定该系统是故意设计出来，用以在不改变福利政策的前提下暗中削减福利支出。[13]因此，Eubanks担心公共部门可能会利用算法来“规避一些他们在今天难以绕开的道德上和政治上的难题——特别是贫困和种族主义。”[14]也有人担心算法可能被用来给疏忽做掩护。例如，ProPublica在2017年所做的一项调查显示，Facebook的广告算法可以根据用户喜欢的话题自动生成广告的目标用户范畴，这可能会使广告商利用“犹太人敌视者”、“犹太人毁灭世界的历史”等话题来搜寻排犹的用户群体。[15]虽然没有任何证据表明Facebook有意向反犹太主义的广告主示好，但BBC的Dave Lee指出，Facebook试图将问题归咎于算法的错误，而不承认其负有监管缺失的责任。[16]而且更严重的是，Facebook的算法系统会自动提取有关用户喜好的数据，而这些数据中的某些部分包含了用户的存有偏见的观点。
如果要求每一项新技术在一出现的时候就是完美的，那么大多数技术就只能躺在历史的废料堆里了。随着社会在与技术的互动过程中发现其问题，研发者对其进行不断的完善，所有新技术都会随着时间的推移而得到改善。当然，这并不意味着相关团体可以免去他们滥用算法的责任。但是零错误率的要求将大大扼杀创新。
扩展性
算法决策的另外一个风险面是其能够以比人类快得多的速度作出大量的决策。随着公共部门和私人部门在一些重要的领域（例如消费者金融和刑事司法领域）中均越来越多地依赖于算法决策，有缺陷的算法可能会以更快的速度产生危害。由于现有的法律规制可能不足以快速和有效地响应以降低这种风险，因此不难理解，这种增加了的风险使得更严格的监管成为必要。
通过将人工操作的流程（如确定贷款资格的程序）自动化，银行可以使用算法大幅缩减其对贷款申请人进行评估所需的时间，同时降低运营成本，然后再以降低贷款利率的方式将这些省下来的成本分享给贷款人。但是，如果这些算法存在缺陷，他们所作出的数量庞大的决策最后可能会显著地放大这些缺陷的潜在风险。一个员工每周只能处理少量的贷款申请，他在评估申请时可能会犯一些常规性的错误；与之相比，一个有缺陷的算法在处理整个银行的贷款申请时，每周可能评估出错数百次，这明显会造成更大规模的损害。
在大多数情况下，有缺陷的算法危害的是使用它们的团体组织。因此，相关的团体会有足够的动因去避免使用有失偏颇的或者带有其他缺陷的算法决策系统，监管机构可能不需要进行干预。例如，提供贷款的银行会主动地确保他们的算法没有偏颇；因为，诸如向不应得到贷款的人提供贷款或者不向有资格的人提供贷款等错误会导致银行资金损失。但是在其他情况下，算法决策失误所造成损失主要由被决策的对象来承担，相关团体确保算法正确的动因便不存在了。例如，假释决策系统中的有失偏颇的算法伤害的是被不公正地拒绝了假释的人，它几乎不会给法院系统带来什么损失。在这种情况下，现有的法律框架可能不足以快速和有效地响应以降低这种风险。
当然，如果某个组织的人工决策过程存在缺陷的话，其影响也可能很大——例如，当银行改变了它们放贷时的惯常做法，向那些只有很少收入或者没有收入记录的人放贷时，便导致了2008年的金融危机。[17]
参考文献
（请向下滑动）
REFERENCES
1.Daniel Castro and Joshua New, “The Promiseof Artificial Intelligence” (Center for Data Innovation, October 2016),
http://www2.datainnovation.org/2016-promise-of-ai.pdf.
2.Will Knight, “The Dark Secret at the Heartof AI,” MIT Technology Review, April 11, 2017,
https://www.technologyreview.com/s/604087/the-darksecret-at-the-heart-of-ai/.
3.Cliff Kuang, “Can A.I. Be Taught to ExplainItself?” The New York Times, November 21, 2017,
https://www.nytimes.com/2017/11/21/magazine/can-ai-be-taught-toexplain-itself.html.
4.“Humans May Not Always Grasp Why AIs Act.Don’t Panic.” The Economist, February 15, 2018,
https://www.economist.com/news/leaders/21737033-humans-areinscrutable-too-existing-rules-and-regulations-can-applyartificial?frsc=dg%7Ce.
5.“Algorithmic Accountability” (World Wide WebFoundation, July 2017),
http://webfoundation.org/docs/2017/07/Algorithms_Report_WF.pdf.
6.Clare Garvie and Jonathan Frankle,“Facial-Recognition Software Might Have a Racial Bias Problem,” The Atlantic,April 7, 2016,
https://www.theatlantic.com/technology/archive/2016/04/theunderlying-bias-of-facial-recognition-systems/476991/.
7.Ibid.
8.Editorial Board, “Unequal Sentences forBlacks and Whites,” The New York Times, December 17, 2016,
https://www.nytimes.com/2016/12/17/opinion/sunday/unequalsentences-for-blacks-and-whites.html.
9.Dylan Matthews, “Making Prison Worse Doesn’tReduce Crime. It Increases It.” The Washington Post, August 14, 2012,
https://www.washingtonpost.com/news/wonk/wp/2012/08/24/makingprison-worse-doesnt-reduce-crime-it-increasesit/?utm_term=.b5e14537f123.
10.Kate Crawford, “Artificial Intelligence’sWhite Guy Problem,” The New York Times, June 15, 2016,
https://www.nytimes.com/2016/06/26/opinion/sunday/artificialintelligences-white-guy-problem.html.
11.Robert D. Atkinson, “’It’s Going to KillUs!’ and Other Myths About the Future of Artificial Intelligence” (InformationTechnology and Innovation Foundation, June 2016),
http://www2.itif.org/2016-myths-machinelearning.pdf.
12.Virginia Eubanks, Automating Inequality: HowHigh-Tech Tools Profile, Police, and Punish the Poor (St. Martin's Press,2018).
13.Ibid.
14.Alyssa Edes and Emma Bowman, “’AutomatingInequality’: Algorithms in Public Services Often Fail the Most Vulnerable,”NPR, February 19, 2018,
https://www.npr.org/sections/alltechconsidered/2018/02/19/586387119/automating-inequality-algorithms-in-public-services-often-fail-the-mostvulnerab.
15.Julia Angwin, Madeleine Varner, and ArianaTobin, “Facebook Enabled Advertisers to Reach ‘Jew Haters’,”ProPublica,
https://www.propublica.org/article/facebook-enabled-advertisers-toreach-jew-haters.
16.Dave Lee, “Facebook Can’t Hide BehindAlgorithms,” BBC, September 22, 2017,
http://www.bbc.com/news/technology-41358078.
17.Martin Baily, Robert Litan, and MatthewJohnson, “The Origins of the Financial Crisis” (Brookings Institution, November2008),
https://www.brookings.edu/wpcontent/uploads/2016/06/11_origins_crisis_baily_litan.pdf.
本文仅作学习交流之用
Frederick Childe Hassam
往期荐读
编辑：钟柳依
欢迎点击“阅读原文”