电商网站开发系统架构,东乡网站建设,大连网页制作培训学校,互联网医疗来源#xff1a;亿欧 概要#xff1a;随着越来越多的自动化决策#xff0c;能够理解AI如何思考对我们来说变得越来越重要。 随着越来越多的自动化决策#xff0c;能够理解AI如何思考对我们来说变得越来越重要。从挑选股票到检查X射线#xff0c;人工智能越来越多地被用来… 来源亿欧 概要随着越来越多的自动化决策能够理解AI如何思考对我们来说变得越来越重要。 随着越来越多的自动化决策能够理解AI如何思考对我们来说变得越来越重要。从挑选股票到检查X射线人工智能越来越多地被用来做一些决策而这些决策从前都是由人类所做。但是人工智能只是像它处理的数据一样好在多数情况下我们还是把人性的偏见都当成了可能对人们的生活产生巨大影响的算法。 研究人员在一篇发表在arXiv上的新论文中说他们可能已经想出了一种方法来排减难以被外人检查的算法的问题——所谓的“黑匣子”系统。 出现偏差的一个特别令人不安的地方是风险评估模型例如它可以决定一个人获得保释或批准贷款的机会。通常在这种情况下考虑种族等因素是非法的但算法可以学习识别和利用这样一个事实即一个人的教育水平或家庭住址可能与其他人口统计信息相互关联种族偏见和其他偏见可能通过这些信息有效地渗透到他们的脑海中。 是什么让这个问题变得更加棘手许多用来做出这些选择的AI都是黑匣子要么是它们太复杂不易理解要么是公司拒绝解释专有算法。研究人员一直在使用工具来了解发生了什么但是这个问题是普遍存在的并且在不断增长。 在这篇论文中当时在微软工作的Sarah Tan和他的同事尝试了两种黑箱风险评估模型一种是同等规模公司LendingClub的贷款风险和违约率另一种是Northpointe该公司向全国各地的法院提供基于算法的服务来预测被告的累犯风险。 研究人员使用双管齐下的方法来阐明这些潜在的有偏算法是如何工作的。首先他们创建了一个模拟正在检查的黑盒算法的模型并根据初始数据集创建风险评分工作原理同LendingClub和Northpointe一样。然后建立第二个模型他们针对现实世界的结果用该模型确定最初数据集中对最终结果重要的变量是哪些。 对于LendingClub研究人员分析了从2007年到2011年的一些到期贷款的数据。LendingClub的数据库包含了许多不同的领域但研究人员发现该公司的贷款模式可能忽略了申请人的年收入和贷款目的。因为申请人自己报告收入并且可以伪造收入因此忽略收入尚情有可原。但贷款目的与风险高度相关例如小企业的贷款比用于支付婚礼的贷款风险大得多。所以说LendingClub似乎忽略了一个重要的变量。 与此同时Northpointe说COMPAS算法在提出量刑建议时不把种族作为变量。然而ProPublica的一项调查表明在COMPAS帮助下记者收集了被判刑的被告的种族信息并发现了种族偏见的证据。在他们的模拟模型中研究人员使用ProPublica收集的数据以及被告的年龄、性别、收费等级、先前的定罪数量、此前的服刑时间等信息。该方法与ProPublica的研究结果一致这表明COMPAS可能偏向于某些年龄和种族群体。 批评者可能会指出这些并不是确切的副本—因为是没有必要的研究人员进行了大量有依据的猜测。但是马萨诸塞大学的助理教授Brendan OConnor发表了一篇关于自然语言处理偏见的论文他说如果利用某种算法的公司不愿意发布其系统如何工作的相关信息这个研究中的近似模型则是获得洞察力的一个合理方法。 奥康纳说“我们需要意识到这一切正在发生而不是闭上眼睛假装什么都没有发生。