下文经出版社授权，摘编自《失控与自控》。社会心理学家、德国马普所人类发展研究中心主任格尔德·吉仁泽在文中分析了不透明的算法为什么更容易固化歧视和助长偏见。
《失控与自控》，格尔德·吉仁泽著，何文忠 等译，中信出版社 2024年1月。
作者｜格尔德·吉仁泽
透明的正义
黑匣子算法引发了一场激烈辩论，焦点在于黑匣子算法是否对某些群体不公平，如有色人种和穷人。然而，还有一个更根本的问题：黑匣子算法缺乏透明度。没有透明度，就很难确定其是否公平。例如，公共利益新闻调查中心（propublica）曾尝试分析compas算法，并得出该算法确实存在种族偏见的结论，但其他研究人员得出了相反的结论。缺乏透明度也违背了大家对正义和尊严的理解。而大多数问题可以通过使用透明算法来避免。
“决策列表”就是现有的透明风险评估工具之一。corels算法是一种机器学习工具，可以从以前案例的数据中以清晰的逻辑生成此类列表。以预测被告是否会在两年内被捕为例。“决策列表”是这样的逻辑：如果被告的年龄是18~20岁，且是男性，则预测其会被捕。如果被告的年龄是21~23岁，且之前有2~3次犯罪（无论性别），则预测其会被捕。如果年龄不在上述范围，则检查被告是否有超过3次前科。如果是，则预测会被捕。而在其他情况下，则预测不会被捕（图7.1）。
请注意，只有年龄、性别和以前的罪行进入“决策列表”，没有什么神秘之处，黑匣子里没有藏着水晶球。机器学习工具所做的是提取最重要的特征并建立确切的规则。尽管原理很简单，但依据三个特征的决策列表预测被捕的准确度与考虑多达137个特征的compas算法一样。预测被告未来是否会被逮捕的黑匣子算法并不比透明简单的算法更准确，这一发现不是例外，而是规律。
“决策列表”体现了我心目中“透明度”的含义。这个算法已被公开，而且是可以理解的：
通过查看“决策列表”，人们可以确切知道预测是如何做出的。决策列表提高了透明度，让人们更容易检测出潜在的歧视，节省了购买秘密算法的成本，揭开了程序的神秘面纱。当前，简单的决策列表与复杂的秘密算法准确度差不多，但喜欢使用算法作为决策辅助的法官至少可以轻松使用和理解这些列表。
英国纪录片《地平线系列：大数据时代》（horizon：the age of big data，2013）剧照。
另一个知名度更高的透明工具是“公共安全评估”（psa），其目的是帮助法官决定是否应在审判前释放被告。例如，在预测被告不出庭的可能风险值时，它只使用了四个特征（图7.2）。对于前三个特点，“是”分别对应1分的风险值；最后一个特征，“过去两年内有过一次不出庭的情况”，对应2分的风险值；过去两年内有两次甚至更多次不出庭情况，则对应4分的风险值。被告和法官可以很容易看到有哪些特征以及加权规则，并在互联网上查找最终风险评分是如何计算的。psa还使用不同的特征组合来预测新的犯罪活动，例如被告案件审判前所犯的罪。与决策列表一样（但与compas不同），psa不是商业算法。
psa的逻辑类似于按量收费算法（图4.6）：一个以少量特征为参考，并用简单数字进行积分的系统。就像远程信息处理汽车保险一样，透明的风险评估允许被告调整他们的行为，例如避免错过法庭听证会。如果算法不公开，被告就不知道该如何改善自己的行为。商业机密是客户理解算法的阻碍之一，但并不是唯一的阻碍。另一重阻碍在于其复杂性。即使公开算法，也可能因为过于复杂，外行和专业人士无法弄清楚决定是如何做出的或分数是如何计算的。透明算法不仅限于决策列表或计值系统，本书也会呈现其他算法。
透明算法有很多优点。在紧急情况下，专业人员必须掌握易于记忆的分类规则，以便快速有效地执行这些规则。算法透明还有助于确定算法是否包含偏见，例如种族主义。可见上文提到的psa和决策列表都没有纳入种族的特征。尽管如此，也不能排除它们关注其他类似种族特征的可能。但同样，算法透明让人们更易于检查情况是否确实如此。例如，四个问题中可能有一个是：你是否住在曼哈顿125街？当有超过100个特征时，种族可以与其中许多特征相关联，使识别隐藏的偏见成为一项艰巨任务。
然而，仅靠透明度并不能保证得到的数值比黑匣子算法的数值更准确，在上述两种算法中，从根本上讲，实际结果是不确定的。就psa而言，大多数研究显示其预测能力为中等或良好。一个更重要的问题是，风险评估工具是否真的可以改善法官在没有任何算法辅助的情况下自行做出的决定？它与其他工具相比如何？在找寻答案时，我发现目前很少有研究提出上述问题，这令我感到震惊。
《她》剧照。
为什么算法会固化歧视
即使是最狂热的粉丝基本上也承认人工智能有偏见问题。据报道，警察、法院、雇主、信用评分机构等使用的人工智能系统都存在性别或种族歧视。个性化算法为白人男性提供了薪酬更高的工作，还有前文提到的谷歌的图像分类系统将一对深色皮肤的夫妇识别为“大猩猩”的丑闻。人工智能应该是中立、客观和数据驱动的，怎么会对女性、有色人种或其他边缘化群体不公平呢？
重要的是了解什么是歧视，什么不是。维也纳爱乐乐团是世界上最好的乐团之一。从第一个和弦开始，乐迷就可以通过美妙的声音，听出这是维也纳爱乐乐团在演奏。乐盲也可以通过认出其中为数不多的女性音乐家做到这一点，不过他们靠的是眼睛而不是耳朵。直到1997年，在巨大的公众压力下，该乐团才正式聘用了第一名女性成员，她是一位竖琴家（她在乐团中拿着低薪演奏了数十年，之后很快便退休了）。全世界管弦乐队聘用的男性多于女性，但这一事实本身并不能证明存在歧视，可能在顶尖的音乐家中就是男性居多。但是，如果发现男性和女性演奏得一样好，但男性却更受青睐，这便表明存在歧视。只有采用幕后盲选，评委会无从知晓候选人的性别时，大家才明白乐团确实歧视女性。到2020年，世界级交响乐团中的女性比例已从20世纪70年代的5%~10%上升至40%~45%。
与人类评委会一样，算法也可能会歧视女性、有色人种或其他边缘化群体。如果算法透明，相对来说就更容易发现歧视。比如按量收费算法（图4.6）。性别和种族都不在它考虑的范围内，因此没有证据表明其存在歧视。不考虑性别或种族信息的算法就相当于隐藏了这类信息的盲试。但是，如果存在与性别或种族相关的其他特征，例如收入或社区，歧视也可能隐蔽地出现——虽然只要算法是透明的，也可以轻松查出。相比之下，如果算法是秘密的并且像compas算法那样运用了许多特征，则可能很难检测到。可能存在歧视是所有敏感算法都应透明的重要原因之一。
故意设计为不透明的算法，例如深度人工神经网络，会带来更大的问题。这里出现的歧视并不是因为性别或种族被用作特征，因为程序员甚至不用确定选用哪些判断特征，神经网络会自己确定，相反，数据可能就是歧视的来源。我们再以维也纳爱乐乐团为例。假设一家科技公司需要训练一种深度神经网络来寻找最好的乐手，该神经网络需要接收过去50年来全球顶级管弦乐队的100000名申请者的个人资料，包括他们是否已被录用的信息，结果神经网络很快就会发现并确立男性是一个突出的预测指标，从而固化过去的偏见。
这种现象已经发生在女性为少数的其他领域。例如，亚马逊的机器学习专家构建了一种算法。根据个人资料，对软件开发职位和其他技术工作的申请人进行评分。给机器提供100份资料，它会从中选出前五名候选人。出乎意料的是，这台机器并不“喜欢”女性。偏见又一次隐藏在数据中，数据中包含过去10年的求职者的资料，绝大多数被聘用者是男性。即使只保留申请人的姓氏也没有多大改变。人工智能总能找到应对策略，例如借助女子学院的校名推断性别。
《黑镜》（black mirror，2023）第六季剧照。
人脸识别系统在经过训练后可以判断一张脸是男性还是女性，这其中也存在偏见。这些系统被用于从安保视频片段中识别肇事者，系统错误可能会导致错误的指控。在一项研究中，男性和女性的照片被展示给微软、ibm和face++的三个商业性别分类系统，有些人肤色较深，有些人较浅。每当系统将一张脸归类为“男性”时，如果其肤色较浅，则系统的错误率只有0~1%；但如果其肤色较深，则系统的错误率会增加到1%~12%，具体错误率依系统不同而有所差别。当这类系统将一张脸归类为“女性”时，如果其肤色较浅，则错误率在2%~7%；但如果其肤色较深，则在21%~35%的情况下出现归类错误。每个系统在识别女性面孔时出现的错误都比在识别男性面孔时多，在识别深色皮肤时比识别浅色皮肤时错误多。
那么偏见从何而来？问题出在用于训练系统的图片上。大约一半的照片是白人男性，其余大部分是白人女性。肤色较深的人，尤其是女性，则很少。
该研究发表后，负责测试商业系统的三家公司迅速更新了它们的系统并减少了偏差。然而更新之后，ibm系统在识别肤色较深的女性时仍存在17%的错误率。ibm系统解决偏差问题的方法十分讨巧，系统并没有算上所有的错误，只计算了系统有超过99%的信心认为其结果是正确时出现的错误，这使得公司报告的错误率只有3.5%。最有趣的是，这项研究似乎并未影响到研究中未提及的公司，例如亚马逊和凯洛斯。在识别深色皮肤女性时，这些公司的错误率也很高，会将她们跟男性混淆。被此项研究提名可能是件羞耻的事，但也只是那些被提名的公司会有如此感觉罢了。
英国纪录片《地平线系列：大数据时代》（horizon：the age of big data，2013）剧照。
神经网络会产生更多偏见
偏见的核心在于数据本身存在偏见，但深度神经网络可能会加剧这个问题。想象一下我们在一个神经网络中输入了数以万计的人类活动图片，以此教会它识别人类活动和性别。这些照片具有典型的性别偏见，其中男性大多数在参与户外活动，如开车和射击，女性则更多是在烹饪和购物。当该网络需要在大量新图片中识别性别和活动时，就会产生很多偏见。例如，当图片中的活动是烹饪时，67%的照片是女性。然而，该网络得出的结论是，84%是女性，误认了大约一半的男性厨师。
深度神经网络为什么会加深偏见呢？原因之一是研究人员通过正确答案的数量来评估网络的性能，而不是根据偏见的程度。神经网络确实可以通过加深偏见度来提高性能。假设一个网络只知道2/3的厨师是女性。为了达到最好的结果，它会猜测每位厨师都是女性，这意味着2/3的答案是正确的。这当然会最大限度地放大偏差。但如果为了加深偏见，网络可以随机猜测2/3照片中的厨师是女性，而1/3照片中的厨师是男性。在这种情况下，它只会得到大约56%的正确答案。一般来说，如果数据存在偏见，与尝试追求“公平”相比，放大偏见往往会让系统表现出更好的性能。
偏见不仅存在于人工智能中。在科技公司里，也主要是男性想要改变我们生活的方方面面。根据《连线》杂志的报道，在前沿的机器学习会议上，只有12%的发言人是女性，谷歌机器学习的研究员中，只有10%是女性，这是一种倒退。遥想20世纪80年代初，计算机科学系的毕业生中有40%是女性。蒂姆尼特·格布鲁博士是谷歌的科研人员，也是性别分类研究项目的发起者之一，谷歌有色人种女性员工只占总人数的1.6%，她是其中一员。她与人合作的一项新研究发现，谷歌的大型语言模型，看似可以生成有意义的文本和对话，但该模型在进行机器学习时，需要接收大量互联网上的文本，其中含有种族主义和性别歧视的话语，因此该模型有复制这些言语的风险。此外，培训消耗了大量的计算能量，从而消耗了大量电力，导致二氧化碳排放量大幅增加。所有这一切往往会让富有的组织从中受益。然而，随之而来的气候变化，首先受到影响的却是贫困社区。谷歌的领导层看到此项研究的论文后，决定对其进行审查，随后解雇了格布鲁博士。数千名谷歌员工以及来自学术界和民间组织的支持者联名写了一封抗议信，在信中他们直言：“格布鲁博士是为数不多的反对强大和有偏见的技术以不道德和不民主的方式侵入我们日常生活的科技公司内部成员。”
作者/格尔德·吉仁泽
摘编/李永博
导语校对/贾宁
