当前位置: 首页  >> 科技  >> 人工智能  >> 查看详情

AI存在偏见和歧视,算法让用户喜好趋同?科学家给出了证据

来源: 澎湃新闻   日期:2020-08-07 15:17:40  责编:娟子/刘玉辉 
分享:
    近日,来自多所大学学者的研究结果为上述的偏见和歧视提供了证据。他们的研究论文目前已在预印本网站Arxiv上发布。推荐系统的本质是一种基于产品内容或用户行为的信息过滤。如今,我们用的很多应用程序和网站都嵌有算法推荐系统。假如你在某视频网站给一部电影打了高分,那么系统就会为你推荐更多同类型的电影。如果你给系统推荐的电影也打了分,系统就会将你的反馈行为添加到系统中,这就是一种反馈循环。

  但是推荐算法会受到流行性偏见(popularity bias)的影响。流行性偏见是指,一些流行的项目会被经常推荐,而其他项目会被忽略。在上面的例子中,一些电影被更多的人喜爱,获得了更高的评分,就属于流行的项目,或者可以叫做热门项目,这些项目会被更多推荐给用户,这就是流行性偏见。

  流行性偏见的产生一部分源于训练数据本身存在不同的流行度,另一部分原因来自推荐算法。随着时间的推移,这种流行性偏见将会被加强。因为如果用户在反馈循环中不断为热门电影打高分,这些电影就变得更热门,被推荐的几率也就更大。

  为了研究反馈循环对推荐系统放大偏见和其他方面的影响,来自埃因霍温科技大学、德保罗大学和科罗拉多大学博尔德分校的研究人员在一个电影数据集上使用三种推荐算法进行了仿真,模拟推荐系统的交互过程。

  作为研究数据的MovieLens 1M数据集包含了6040个用户对3706部电影给出的1000209个评分,分数范围在1-5之间。研究人员使用的三种推荐算法分别是:基于用户的协同过滤(UserKNN)、贝叶斯个性化排序(BPR)和一种向所有人推荐最流行产品的算法MostPopular。

  通过使用这些数据和算法进行迭代——系统不断为用户生成推荐列表,用户又不断对推荐列表中的项目进行打分,研究人员发现,随着时间的推移,三种算法下的数据平均流行度都有所上升,但总体多样性呈现下降,这也就证明了推荐系统在反馈循环后的偏见被放大。

  流行性偏见的放大还改变了系统对用户兴趣的判断。在所有的推荐算法中,用户的偏好与其初始偏好之间的偏差随着时间的推移而增加。也就是说,这将导致推荐系统为用户做出的推荐越来越偏离用户的真实喜好,系统推荐给你的电影将不再符合你的口味。

  除此之外,由于推荐系统的偏见被放大,用户几乎只能接触到流行度高的项目,只能看到那些被更多人打了高分的热门电影。于是,在推荐系统中他们的偏好都会向一个共同的范围集中,这就表现为用户偏好的同质化。而反馈循环造成的偏见对少数群体用户的影响更大。

  “解决算法偏见的方法变得至关重要。因为如果处理不当,随着时间的推移,推荐系统中一个很小的偏差也可能会被极度放大。”研究人员在论文结尾处写道。

  针对人脸识别算法带来的偏见越来越受到关注。例如,能将模糊照片清晰化的PULSE算法将美国前总统奥巴马的模糊照片“还原”出了一张白人面孔,在全美BLM运动(Black Lives Matter,黑人的命也是命)如火如荼的背景下,就引发了巨大的争议。

  人脸识别领域里出现算法偏差和歧视,一个重要原因是用于训练的数据集存在很大的偏差性。来自剑桥大学和中东科技大学的研究人员就从两个用于识别人脸表情的数据集中找到了证据。

  这两个数据集分别为:RAF-DB和CelebA。其中,RAF-DB包含来自互联网的数以万计的图片,这些图片包括面部表情和属性注释,而CelebA拥有202599张图像,包含10177人的4 0种属性注释。

  为了确定两个数据集存在偏差的程度,研究人员对随机子集进行了采样,并裁剪了图像,以使面部在方向上保持一致。然后,他们使用分类器来衡量准确性和公平性。

  理论上来说,为了让算法保持准确和公平,这个分类器应在整个过程中提供不同的人口群体的相似结果。但实际情况并非如此。

  在RAF-DB数据库中,绝大多数的图片来自年龄在20-39岁之间的白人。从具体的数据来看,这些图片有77.4%来自白人,15.5%来自亚裔,而只有7.1%来自非洲裔美国人;在性别方面,女性为56.3%,男性为43.7%;在年龄上,超过一半的图片来自20-39岁的年轻人,3岁以下和70岁以上的人甚至少于10%。

  为进一步研究数据库存在偏见的程度,研究人员分别使用了三种算法对数据库的准确性和公平性进行评估。结果发现,在准确性方面,RAF-DB数据库对少数族裔的识别准确性低于白人;在公平性方面,性别属性相对更公平,为97.3%,种族和年龄的公平性相对较低,为88.1%和77.7%。

  而在CelebA数据库的图片来源中,女性比例为61.4%,而男性只有38.6%。在年龄上,年轻人占75.7%,明显超过了占比24.3%的老年人。

  在准确性方面,CelebA数据库对年轻女性的准确率为93.7%,但对老年男性的准确性较低,为90.7%。而该数据库在性别和年龄方面的公平性表现都较好,分别为98.2%和98.1%。

  许多公司曾用人脸识别软件给面试者的情绪打分,如果整个系统都是有偏见的,对于面试者来说就意味着不公平。面部表情数据集中偏见的存也凸显了监管的必要性。如何用法律防止技术滥用,成为未来这一领域里值得思考的问题之一。



 

1. 凡本网注明“来源:中国生活消费网” 的所有作品,版权均属于中国生活消费网。如转载,须注明“来源:中国生活消费网”。违反上述声明者,本网将追究其相关法律责任。

2. 凡本网注明 “来源:XXX(非中国生活消费网)” 的作品,均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责。

3. 任何单位或个人认为中国生活消费网的内容可能涉嫌侵犯其合法权益,应及时向中国生活消费网书面反馈,并提供相关证明材料和理由,本网站在收到上述文件并审核后,会采取相应措施。

4. 中国生活消费网对于任何包含、经由链接、下载或其它途径所获得的有关本网站的任何内 容、信息或广告,不声明或保证其正确性或可靠性。用户自行承担使用本网站的风险。

5. 基于技术和不可预见的原因而导致的服务中断,或者因用户的非法操作而造成的损失,中国生活消费网不负责任。

6. 如因版权和其它问题需要同本网联系的,请在文章刊发后30日内进行。联系邮箱:zgshxfw@126.com 

相关文章

  • “搭”上人工智能 电话销售骚扰“升级”

        智能音箱、智能翻译、智能客服……人工智能大热的当下,智能语音技术在很多领域得到应用。但当这项技术也成为电话销售行业高效率、低成本的“法宝”,标榜“一天能打3000通、机器对话省人工”时,消费者更加防不胜防。   骚扰电话这一困扰全社会的行业顽疾,不仅久治不愈,还搭上了人工智能“快车”,衍生出不少黑灰产业链。“升级”的骚扰电话乱局,确实... [阅读]

  • 国内首套轨梁物料智能识别系统正式进入试运行

        7月13日,新松自主研发的国内首套轨梁物料智能识别系统完成安装调试,目前正在鞍钢股份有限公司大型厂进行最后阶段的试运行。车间里,正在“岗位上卖力工作”的8台套新松工业机器人引起众多关注。随着新松智能机器人系统的陆续应用,将极大提升鞍钢智能化水平,实现产线生产信息流和物流真正匹配,优化岗位配置,改善作业环境,减轻岗位劳动强度,提升生产效率。 新基建下钢铁行业的新机遇     随着疫情的有效控制,全国人民复工复产,... [阅读]

  • 腾讯任宇昕:“新基建”将为新一代年轻人带来梦想舞台

        7月9日,以“智能世界 共同家园”为主题的2020世界人工智能大会(WAIC)云端峰会在上海盛大开幕。腾讯首席运营官任宇昕在开幕式上表示,“新基建”将激发新一代年轻人的聪明才智,产业互联网注定会为“数字原住民”带来梦想的舞台,相信数字世界是一个等待全球年轻人共同建设的新家园。 任宇昕是在发表题为《探索人工智能的新机与新局》的演讲时,提到上述观点的。他认为,AI技术正在深深“... [阅读]

  • 百度李彦宏:"新基建"将带动全面人工智能化潮流

        进入2020年以来,国家对新基建政策支持力度不断加大,人工智能如何更好的赋能经济高质量发展,成为了新的时代命题。近日,在第三届世界人工智能大会上,百度创始人、董事长兼CEO李彦宏表示,今天中中国正在积极推进的“新基建”计划,可以看成是人类在进入智能经济和智能社会前最大的基础设施扩张工程,它有很大的希望会在中国率先掀起全面人工智能化的潮流。   李彦宏指出,新基建是以人工智能为核心的基础设施建设,将在交通、能源等领域大大提升效率,推动... [阅读]