用AI分析姓名识别男女,Genderify为啥被骂到服务下线?

2020-07-31 12:03:08 作者:诺风微图  阅读:200 次  点赞:0 次  鄙视:0 次  收藏:0 次  由 www.yisuidc.com 收集整理
听新闻 - 用AI分析姓名识别男女,Genderify为啥被骂到服务下线?
00:00 / 00:00

+

-

自动播放×

御姐音

大叔音

萝莉音

型男音

温馨提示:
是否自动播放下一条内容?
立即播放当前内容?
确定
确定
取消

原标题:用AI分析姓名识别男女,Genderify为啥被骂到服务下线?

上周刚面世的一项服务Genderify,号称能通过AI分析姓名、用户名或电邮地址来判断某人性别,结果因为算法偏差实在离谱,在社交媒体上引起了广泛关注。

我们来看看Genderify的一小部分“成绩单”:

输入“Meghan Smith”,评估结果为“男性:39.60%,女性:60.40%”;

但输入“Dr.Meghan Smith”,评估就会变为:“男性:75.90%,女性:24.10%”。

其他名字加上“Dr”,也会让系统给出更偏向男性的结果。

有网友试着输入了一些单词或名人姓名,Genderify也表现得令人失望:

比如输入“scientist”,评估结果为“男性:95.7%,女性:4.3%”;

输入“Oprah Winfrey”(美国著名脱口秀女主持),评估结果为“男性:78.3%,女性:21.7%”;

Genderify的首席运营官Arevik Gasparyan是一名女性,但系统连自家高管都不认得,给出了“男性:91.2%,女性:8.8%”的结果。

群众抗议情绪之强烈,已经迫使Genderify彻底关闭了这项服务,网站现已脱机,其免费API也无法再访问。

一位代表通过电子邮件向媒体回应:“如果大家不想要,这样的结局也许是公平的。”

尽管类似的性别偏见经常出现在机器学习中,但Genderify这种“不过大脑”的程度似乎让该领域的许多专家感到惊讶。Meredith Whittaker是纽约大学 AI Now的联合创始人,专注研究AI对社会造成的影响,她的反应就非常典型:“科技圈的愚人节来了?这是一种干扰科技与司法世界的心理战吗?”

为什么Genderify会引发大规模吐槽?就因为它根据某人的名字对其性别做出假设?并非如此。业界指出,其实人类也会通过名字猜性别,有时也会在这个过程中犯错误,这就需要了解人们的自我认同感,思考对方希望得到怎样的称呼,才能降低冒犯对方的可能。

Genderify的问题在于,它自动化了这些假设,显得太过“想当然”了,加深了这个过程中的性别刻板印象。比如前文提到的,在名字前加Dr.的情况,意味着系统认为:如果你是医生,那你大概率是个男人。

虽然创始人Arevik Gasparyan强调这是一个用于营销的数据分析工具,但有观点认为,它在特定的应用方式和地点下,会出现潜在危害。

例如这项服务被集成到医疗聊天机器人中,它对用户性别的假设,可能会导致聊天机器人发出误导性的医疗建议。

用户们对产品的性别歧视色彩表示担忧,有提问称:“如果我选择了既不是男性也不是女性,你如何处理这个问题?你如何避免性别歧视?你是如何处理性别偏见的?”

对此,Gasparyan称,服务是基于“已经存在的姓名/性别数据库”,公司也“正在积极寻求解决办法,以改善跨性别者等群体的用户体验”,试图将姓名/用户名/电子邮件的概念与性别身份区分开来。

一位代表也通过电子邮件给出了较为详细的回应:

“我们明白,我们的模型永远不会提供理想的结果,算法需要显著改进。为了让它更好地发挥作用,我们非常期待LGBTQ等群体的反馈,以协助我们尽可能地改进性别分析算法。我们的目标是建立一个自学习的人工智能,它将不会像任何现有的解决方案那样带有偏见。”

雷锋网编译,参考来源:

https://www.theverge.com/2020/7/29/21346310/ai-service-gender-verification-identification-genderify

https://baijiahao.baidu.com/s?id=1673625518588393349&wfr=spider&for=pc

雷锋网雷锋网(公众号:雷锋网)雷锋网

雷锋网原创文章,未经授权禁止转载。详情见转载须知。

本文关键词:性别 , 女性 , 男性

相关文章

X

新闻网上所有的内容均由网友收集整理,纯属个人爱好并供广大网友交流学习之用,作品版权均为原版权人所有。
如果版权所有人认为在本站放置您的作品会损害您的利益,请指出,本站在核实之后会立即删除。
Copyright 2019-2020 逸速资讯 www.yisuidc.com All Rights Reserved.

×

分享到微信朋友圈

扫描二维码在微信中分享