这项由亚利桑那州立大学的李大伟、加州大学洛杉矶分校的孙仁亮、圣母大学的黄悦、伊利诺伊大学厄巴纳-香槟分校的钟明等研究者组成的跨校团队进行的研究，发表于2025年5月24日的arXiv预印本论文库。有兴趣深入了解的读者可以通过论文编号arXiv:2502.01534v2或GitHub项目页面（https://github.com/David-Li0406/Preference-Leakage）访问完整研究内容和相关代码数据。

在人工智能快速发展的今天，一个看似完美的循环正在悄然形成：用先进的大语言模型生成训练数据，再用同样先进的模型来评判学生模型的表现。这就像让同一位老师既负责出题，又负责阅卷一样。表面上看，这种做法效率极高，成本低廉，但研究团队却在这个看似合理的流程中发现了一个令人意外的问题。

当我们在餐厅吃饭时，如果厨师既是菜品的制作者，又是菜品质量的评判者，我们很容易想象他可能会对自己的手艺有所偏爱。同样的道理，研究团队发现，当用来生成训练数据的AI模型与用来评判学生表现的AI模型存在某种"亲缘关系"时，评判就可能不再公正。这种现象被研究者们命名为"偏好泄漏"。

偏好泄漏就像是一种隐形的家族偏见。当GPT-4生成了一批训练数据来训练小模型，然后又用GPT-4来评价这个小模型的表现时，GPT-4会不自觉地对那些"继承了自己风格"的回答给出更高的评分。这不是因为这些回答真的更好，而是因为它们在某种程度上反映了GPT-4自己的"口味"和偏好。

这个发现对整个AI评估领域意义重大。目前，越来越多的AI系统依赖于大语言模型进行自动评估，从学术研究到商业应用都广泛使用这种方法。但如果评估本身就带有偏见，那么我们如何确保AI系统的真实性能得到准确评价呢？研究团队不仅发现了这个问题，还深入分析了它的成因、表现形式和潜在影响，为构建更公平的AI评估体系提供了重要参考。

一、什么是偏好泄漏：AI评判中的家族偏见

偏好泄漏现象可以用一个简单的比喻来理解：如果你用某位著名厨师的食谱学做菜，然后请这位厨师来品尝你的作品，他很可能会给出比其他评委更高的分数。这不是因为你做得特别好，而是因为你的菜品体现了他熟悉的风味特点。

在AI领域，这种现象表现为：当用某个大语言模型生成的数据训练出的学生模型接受同一个模型的评判时，评判分数往往会被人为抬高。研究团队将这种现象正式定义为"偏好泄漏"，并通过数学公式精确描述了这种偏见的存在条件。

具体来说，偏好泄漏涉及三个关键角色：数据生成模型、学生模型和评判模型。数据生成模型负责创建训练材料，就像是教材编写者；学生模型使用这些材料进行学习，相当于学生；评判模型则负责评估学生的表现，扮演考官的角色。当数据生成模型和评判模型存在某种关联时，问题就出现了。

研究团队识别出了三种主要的模型关联类型。第一种是最直接的情况：完全相同的模型既用于生成数据，又用于评判表现。这就像让同一个人既当运动员又当裁判，偏见几乎不可避免。第二种是继承关系：一个模型是基于另一个模型微调或训练而来的。这种关系就像师父和徒弟的关系，徒弟评判师父教出的学生时，很可能会带有相似的偏好。第三种是家族关系：两个模型属于同一个模型家族，比如都是GPT系列的不同版本。虽然它们不完全相同，但共同的基础架构和训练数据使它们具有相似的"品味"。

这种偏好泄漏的危害在于它的隐蔽性。与传统的数据泄漏问题不同，偏好泄漏不涉及训练数据和测试数据的直接重叠，因此更难被发现。它像是一种文化传承，学生模型在学习过程中不知不觉地吸收了数据生成模型的风格特征，而评判模型又对这些熟悉的特征给予了额外的青睐。

二、实验设计：揭开偏好泄漏的真面目

为了验证偏好泄漏现象的真实存在，研究团队设计了一系列巧妙的实验，就像设计一场精心策划的测试来揭露隐藏的偏见一样。

研究团队选择了三个目前最先进的大语言模型作为实验对象：GPT-4o、Gemini-1.5和LLaMA-3.3。这些模型就像三位不同流派的武术大师，各有自己独特的风格和特点。同时，他们还选择了两个相对较小的模型Mistral-7B和Qwen-2.5-14B作为学生模型，这些模型就像是准备接受不同大师指导的学徒。

实验的设计思路非常直观。研究团队首先让三位"大师"分别为3万个问题创建答案，形成三套不同风格的训练教材。然后，他们用这些教材分别训练学徒模型，让每个学徒都学会一位特定大师的风格。接下来，关键的测试环节开始了：让三位大师分别评判所有学徒的表现，看看是否会出现"偏爱自己门徒"的现象。

为了确保实验的公正性，研究团队选择了两个广受认可的评估基准：Arena-Hard和AlpacaEval 2.0。这两个基准就像是AI界的标准化考试，能够相对客观地评估模型的综合能力。Arena-Hard包含500个具有挑战性的英语问题，这些问题经过精心挑选，能够很好地区分不同模型的能力水平。AlpacaEval 2.0则包含805个问题，相比早期版本，它特别减少了文本长度对评判结果的影响，使评估更加公平。

实验采用了对比评判的方式，就像让评委在两道菜之间做选择一样。每次测试中，评判模型需要比较两个学生模型的回答，并决定哪个更好。这种方法比简单的打分更能反映真实的偏好差异。

为了量化偏好泄漏的程度，研究团队还创造了一个专门的测量指标：偏好泄漏分数。这个分数的计算方法很直观：比较每个评判模型对"自家学生"和"别家学生"的评分差异，然后计算这种差异的平均值。如果一个评判模型对自己训练出来的学生给分明显更高，那么偏好泄漏分数就会很高。

三、令人震惊的发现：偏爱无处不在

实验结果让研究团队大吃一惊，偏好泄漏现象比预想的更加普遍和严重。在大多数测试组合中，评判模型都表现出了对"自家学生"的明显偏爱，这种偏爱程度远超过了统计误差的范围。

最直观的发现是，当同一个模型既用于生成训练数据又用于评判时，偏见最为严重。在Arena-Hard测试中，这种偏好泄漏分数平均达到了23.6%，这意味着评判模型给自家学生的优势评价比给其他学生高出近四分之一。这就好比一个老师给自己亲手培养的学生打分时，不自觉地多给了20多分的"感情分"。

更有趣的是，即使不是完全相同的模型，只要存在某种关联，偏好泄漏现象依然存在。当评判模型与数据生成模型属于同一家族的不同版本时，偏好泄漏分数仍然达到了8.9%。这说明即使是"远亲"关系，也会产生一定程度的评判偏见。

研究团队还发现了一个反直觉的现象：较小的学生模型反而更容易引发评判偏见。当他们测试不同规模的Qwen系列模型时，发现最小的模型（Qwen-2.5-3B和Qwen-3-1.7B）获得的偏好泄漏分数最高。这与传统数据污染问题中"模型越大越容易受影响"的规律相反。

这种现象的原因可能在于小模型的学习能力有限，它们更容易完全照搬数据生成模型的表面特征和格式风格，而不是学会更深层的推理能力。就像一个记忆力有限的学生，无法理解老师讲课的深层逻辑，只能死记硬背一些表面的套路和模板。当评判模型看到这些熟悉的套路时，很容易产生好感。

不同评估基准之间的差异也很有意思。Arena-Hard上的偏好泄漏分数普遍比AlpacaEval 2.0更高，这可能与问题的难度和类型有关。Arena-Hard的问题更具挑战性，更依赖主观判断，这为偏好泄漏提供了更大的空间。相比之下，AlpacaEval 2.0的问题相对更客观，偏见的影响空间较小。

四、深入分析：偏好泄漏的内在机制

为了更好地理解偏好泄漏现象的成因，研究团队进行了一系列深入的分析实验，就像医生做各种检查来诊断疾病的根本原因一样。

首先，他们测试了训练数据的混合比例对偏好泄漏的影响。结果发现，偏好泄漏的严重程度与"有问题"的训练数据比例呈正相关关系。即使只有很小比例的数据来自相关模型，偏好泄漏现象依然会出现。这就像食物中毒一样，哪怕只有一小部分食材有问题，整道菜都会受到影响。

更令人担忧的是，这种关系几乎是线性的，没有明显的"安全阈值"。这意味着即使混入很少量的相关数据，也可能引发偏好泄漏问题。对于实际应用来说，这个发现意义重大，因为在现实中很难完全避免使用相关模型的数据。

接下来，研究团队测试了不同训练方法对偏好泄漏的影响。他们比较了三种常见的训练方式：监督微调、直接偏好优化和上下文学习。结果显示，监督微调是最容易产生偏好泄漏的方法，偏好泄漏分数达到23.6%。这是因为监督微调会让学生模型深度学习训练数据的各种特征，包括那些表面的风格特征。

相比之下，直接偏好优化的偏好泄漏分数只有5.2%，而上下文学习甚至出现了负值（-2.7%），表现出轻微的反向偏见。这些结果告诉我们，选择合适的训练方法可以在一定程度上减轻偏好泄漏问题。

研究团队还调查了偏好泄漏在现实世界中的影响。他们分析了几个知名的AI评估排行榜，发现偏好泄漏现象确实存在于真实的应用场景中。通过比较模型在不同排行榜上的表现，他们发现某些模型的排名差异可能与偏好泄漏有关。

更有趣的是，研究团队尝试让评判模型识别哪些回答来自"自家学生"。结果发现，这些模型的识别能力很差，准确率基本接近随机猜测的水平。这说明偏好泄漏是一种潜意识的偏见，评判模型自己都没有意识到这种偏爱的存在。

然而，当研究团队使用专门的BERT分类器来区分不同学生模型的回答时，准确率却达到了82.4%。这个巨大的差异说明，虽然人类和AI评判者难以察觉，但学生模型确实在训练过程中学会了数据生成模型的某些特征标记。

五、问题类型的影响：主观性越强，偏见越大

研究团队进一步分析了不同类型问题和评判维度对偏好泄漏的影响，发现了一个重要规律：问题越主观，偏好泄漏现象就越严重。

在问题类型分析中，数学问题显示出最低的偏好泄漏分数（7.7%），而编程问题的分数最高（31.4%）。这种差异很容易理解：数学问题通常有标准答案，评判相对客观；而编程问题虽然也有正确性要求，但在代码风格、实现方式等方面存在很大的主观空间。

科学工程类、商务类和写作类问题的偏好泄漏分数都处于中等水平，分别为17.3%、16.5%和21.0%。这些领域既有一定的客观标准，又留有主观判断的空间，因此偏好泄漏的影响程度适中。

在评判维度分析中，研究团队发现"公平性和责任感"这个维度的偏好泄漏分数最高（32.4%），其次是创造性（30.7%）。这些都是高度主观的评判标准，不同的评判者可能有完全不同的看法。相比之下，"完整性"这个相对客观的维度偏好泄漏分数最低（27.9%）。

这些发现揭示了偏好泄漏问题的一个重要特征：它主要在主观评判领域发挥作用。这也解释了为什么这个问题如此难以发现和解决——在主观判断中，很难区分什么是合理的偏好差异，什么是不当的偏见。

六、对现实世界的影响：隐藏在排行榜背后的偏见

研究团队的发现不仅仅是学术上的有趣现象，它们对现实世界的AI应用产生了深远的影响。当前许多知名的AI评估基准和排行榜都依赖于大语言模型作为评判者，而这些评判可能都受到偏好泄漏的影响。

研究团队分析了AlpacaEval 2.0这个广泛使用的评估基准，发现其中确实存在偏好泄漏现象。他们计算了不同类型偏见对模型排名的影响，发现偏好泄漏造成的排名偏差甚至比著名的"自我中心偏见"更严重。自我中心偏见是指AI模型倾向于偏爱自己生成的回答，这个问题已经被广泛研究。但偏好泄漏的影响范围更广，因为它涉及的不仅仅是模型自己的输出，还包括所有与之相关的模型的输出。

这种影响的严重性在于，它可能导致某些模型的能力被系统性高估，而另一些模型的能力被低估。如果研究者和开发者基于这些有偏见的评估结果做出决策，可能会误导整个AI技术的发展方向。

更令人担忧的是，偏好泄漏问题在实际应用中可能形成恶性循环。如果某个模型因为偏好泄漏而在评估中获得更高分数，它就更可能被选择用于新的数据生成任务，进而产生更多带有其特征的训练数据，最终可能导致整个AI生态系统朝着某种特定的方向发展，缺乏多样性和创新性。

七、寻找解决方案的努力

面对偏好泄漏这个复杂的问题，研究团队也在探索可能的解决方案。虽然完全消除这种偏见可能很困难，但通过合理的设计可以显著减轻其影响。

首先，多样化的评判团队是一个重要的策略。就像法庭审判需要多位陪审员一样，AI评估也应该使用来自不同模型家族的多个评判者。这样可以让不同的偏好相互平衡，得出更公正的结果。

其次，训练方法的选择也很重要。研究结果显示，直接偏好优化比监督微调产生更少的偏好泄漏，而上下文学习几乎不受影响。因此，在可能的情况下，选择这些相对"干净"的训练方法可以减少问题的发生。

此外，数据来源的多样化也是必要的。避免过度依赖单一模型生成的数据，而是使用多种来源的混合数据，可以稀释任何单一模型的偏好影响。

最后，开发专门的偏好泄漏检测工具也是一个重要方向。虽然人类和现有的AI模型都难以察觉偏好泄漏，但研究团队的实验表明，专门训练的分类器可以有效识别这种问题。未来可能需要开发更多这样的工具来监控和防范偏好泄漏。

八、对未来的思考

偏好泄漏问题的发现提醒我们，随着AI系统变得越来越复杂和相互依赖，新的挑战也在不断涌现。这个问题的隐蔽性和普遍性表明，我们需要更加谨慎地设计和评估AI系统。

从更广泛的角度来看，偏好泄漏现象反映了一个根本性的问题：当我们用AI来训练AI，用AI来评判AI时，如何确保整个过程的公正性和客观性？这不仅是一个技术问题，也是一个哲学和伦理问题。

研究团队指出，随着AI技术的发展，模型之间的"家族关系"将变得越来越复杂。未来可能出现更多难以察觉的关联关系，偏好泄漏问题可能会变得更加微妙和难以处理。因此，现在就开始关注和研究这个问题具有重要的前瞻性意义。

说到底，偏好泄漏问题提醒我们，在AI技术快速发展的过程中，我们不能只关注模型的性能提升，还要关注评估体系的公正性和可靠性。只有建立了真正客观公正的评估标准，我们才能确保AI技术朝着正确的方向发展，为人类社会带来真正的福祉。

这项研究为AI评估领域敲响了警钟，也为未来的研究指明了方向。虽然偏好泄漏问题的完全解决可能还需要时间，但认识到这个问题的存在本身就是迈向更公正AI评估体系的重要一步。正如研究团队在论文中所说，他们希望这项工作能够推动研究社区开发出更好的检测、预防和缓解偏好泄漏的方法，最终构建出更加可信和公平的AI评估体系。

Q&A

Q1：什么是偏好泄漏现象？它是如何发生的？

A：偏好泄漏是指当用某个大语言模型生成的数据训练出的学生模型接受同一个或相关模型评判时，评判分数会被人为抬高的现象。这就像让同一位老师既出题又阅卷一样，会不自觉地偏爱体现自己风格特点的答案。

Q2：偏好泄漏现象在现实中严重吗？

A：非常严重。研究发现，当同一模型既用于生成训练数据又用于评判时，偏好泄漏分数平均达到23.6%，即使是相关模型之间也有8.9%的偏见。这种偏见甚至比已知的"自我中心偏见"影响更大，可能导致AI评估排行榜出现系统性偏差。

Q3：如何减少或避免偏好泄漏问题？

A：主要方法包括：使用来自不同模型家族的多个评判者进行评估；选择直接偏好优化或上下文学习等产生较少偏见的训练方法；使用多种来源的混合数据而非单一模型生成的数据；开发专门的检测工具来识别和监控偏好泄漏现象。

新华社出图！（竖版壁纸）　　九三阅兵圆满结束　　我们精选了100张照片　　推出了新华社出图！震撼100张！　　网友们纷纷表示　　“没看够！”“还想要！”　　应广大网友的需要　　我们再次精选了多张竖版图片　　供大家欣赏收藏　　↓↓↓这是国旗护卫队从人民英雄纪念碑基座出发，走向旗杆基座