许多为我们的生活做出决定的算法——从决定我们在互联网上看到什么，到决定我们成为受害者或施害者的可能性——是在没有包含各种各样的人群的数据集上训练的。

结果是这些决策存在固有的偏见。

试试在任何大型搜索引擎搜索“手”（hands）或“婴儿”（babies）的图片，你可能会发现，大部分结果都是白人。

2015年，平面设计师 Johanna Burai 用 Google 搜索“手”的图片，发现顶部的结果全部是白人的手之后，创建了  World White Web project 网站。该网站提供“可供选择的”手的照片，内容创作者可以在线使用，以填补搜索引擎得到的结果的不平衡。

Google 表示，它的图像搜索结果是“网络上的内容的反映，包括不同类型图像出现的频率，以及它们在网络上被描述的方式”，与其“价值观”并无关联。

Burai 则认为事情已经有所改善，她说：“我觉得越来越好了…人们意识到了这个问题。当我开始 World White Web project 那个项目时人们都感到震惊，但现在已经有更多人意识到这个问题。 ”

图：在Google图像搜索输入“hands”，得到的顶部的结果都是白肤色的手。

算法公正联盟（Algorithmic Justice League, AJL）是马萨诸塞理工学院研究生 Joy Buolamwini 发起的。她在一个项目中尝试使用人脸识别软件，但发现软件无法识别她的面孔—— Buolamwini 是黑人。

她说：“我发现戴上一个白色面具，系统更容易识别，因为我的肤色很黑。”“这个面具是人脸的模样，计算机更容易识别它。”

这不是她第一次遇到这个问题。

五年前，同样要用到人脸识别软件时，她不得不找一位肤色较浅的室友帮她。她说：“我心情很复杂。五年前我遇过这样的问题，现在它仍然存在。不过白色的面具很管用，这让我觉得好笑。”

图：Joy Buolamwini 发现她的计算机系统识别出白色的面具，而不是她的脸。

Buolamwini 说 AJL 得到的响应“非常强烈”。教师想要将她的工作展示给自己的学生，研究人员希望她来检查它们的算法的偏见，以及人们向她报告自己遇到算法偏见的经历。

而且这些经历似乎还不少。

一位研究者想检查一个正在建设的识别皮肤黑色素瘤（皮肤癌）的算法是否能对黑色肤色工作。

Buolamwini 说：“我现在开始考虑的是，我们是否已经测试这些系统，以确保其对在技术领域没有得到充分体现的老年群体也适用。我们还希望确保这些系统适用肥胖人士，因为有人报告过。”

多样性报告

Buolamwini 认为这些情况的出现，部分原因是技术领域本身存在缺乏多样性的缺陷。每年，一些科技巨头公司都会发布多样性报告（diversity report），报告显示的情况相当令人沮丧：Google 最新数据（2016年1月）显示，公司技术人员中19%是女性，只有1%是黑人。

微软公司2016年9月发布的报告显示，17.5%的技术人员是女性，2.7%是黑人或非裔美国人。

Facebook 2016年6月公开的数据显示，其美国技术人员为17%，黑人为1%。

这些与算法有什么关系呢？Joy Buolamwini 认为：“如果你用那些与你同一类型的人来测试你的系统，然后它工作正常，那么你永远不会知道它其实存在问题。”

有偏见的审美

去年，在一场由算法评价的选美比赛中，有来自100多个不同国家的6000多张自拍照片，获胜的44人里只有一位是黑人，少数是亚洲人。

Alex Zhavoronkov 是 Beauty.AI 的首席科学家，他对卫报表示，该结果明显有缺陷，因为用于训练 AI 的数据集不够多样化。他说“如果你的数据集中没有那么多各种肤色的人，那么结果可能会产生偏倚。”

更为严重的一个例子是，根据 propublica 网站的一份调查，美国使用 AI 软件来预测哪些犯罪分子可能会再犯罪，发现该系统更倾向于认为黑人是再犯罪高风险者，而这经常是错误的（尽管该软件的公司否认这些发现）。

犹他州立大学计算机学院副教授 Suresh Venkatasubramanian 表示，AI 的创造者需要在问题发现时即采取行动。他说：“最糟糕的情况是事情已经发生了改变，而我们没有意识到。”

“换句话说，决策中的偏见或偏差将从我们认为是人类偏见的事情转变为我们不再这样认为的事情，因此也无法检查到——因为我们已经将 AI 的决策视为理所当然。”

图：我们是否在无意中创造了有偏见的机器人？

不过，他对技术的进步持乐观态度。他说：“我不认为所有的算法都有种族主义的表现。”“不是说这不可能，而是它实际上的工作不是这样。”

他补充说：“在过去三、四年时间里，引发讨论的是存在的问题以及解决问题的方案。”

他列举了一些：

创建更好、更多样化的数据集用于训练算法（这些算法通过处理大量的数据来学习，例如图像数据）；

分享不同软件厂商的最好的实践，以及

构建可以解释它们的决策的算法，以理解它们的偏见。

Buolamwini 说，如果人们更多地意识到潜在的问题，情况就会改善。她对此抱持希望。她说：“我们创造的任何技术都将同时体现我们的愿望和我们的限制，如果我们在包容性方面受到限制，这也将反映在我们开发的机器人或机器人内部的技术中。”

原文地址：http://www.bbc.com/news/technology-39533308