大家好，我是 smxy，一位热衷于探索AI世界的好奇博主。今天，咱们来聊聊一个大模型时代无法回避，又有点让人头疼的问题——大模型幻觉。

相信大家伙儿或多或少都体验过大模型的“智能”，无论是聊天机器人，还是AI写作助手，它们有时候真的能帮我们解决不少问题。但是，用着用着你可能也会发现，这玩意儿有时候也会一本正经地“胡说八道”， 给你编造一些听起来煞有介事，但实际上根本不存在的事实。

Vectara Hallucination Leaderboard：一份权威的幻觉测评榜单

正是在这样的背景下，Vectara 公司推出了 **Hallucination Leaderboard (幻觉排行榜)**， 就像给各大模型做了一次“测谎仪”检测，看看谁更爱“说谎”。
这份榜单使用 Vectara 自研的 Hughes Hallucination Evaluation Model (HHEM-2.1) 模型，来评估大模型在 文档摘要 任务中产生幻觉的频率。 简单来说，就是给大模型看一篇文档，让它总结一下，然后用 HHEM-2.1 模型来判断总结的内容是否真实可靠，有没有 “编故事”。

榜单亮点：HHEM-2.1 模型

这个 HHEM-2.1 模型可不是个“花架子”，它可是 Vectara 团队在 事实一致性评估 领域深耕多年的成果。他们还开源了 HHEM-2.1-Open 模型，放在了 Hugging Face 和 Kaggle 上， 供大家研究学习， 这份开源精神值得点赞！
如果你对 HHEM-2.1 模型背后的技术细节感兴趣，可以去 Vectara 官方博客看看这篇文章：Cut the Bull…. Detecting Hallucinations in Large Language Models (英文原文)。

最新榜单速览

看看最新的幻觉排行榜（截至 2025 年 2 月 24 日）！

img

(完整榜单太长，这里只截取了部分数据，完整榜单请参考原文表格)
https://github.com/vectara/hallucination-leaderboard

从榜单上我们可以看到，不同的大模型在幻觉率上表现差异还是挺大的。 像 Google Gemini-2.0-Flash-001， OpenAI-o3-mini-high-reasoning 等模型，幻觉率控制在了 1% 以下，表现相当出色。 而一些模型，比如 TII falcon-7B-instruct，幻觉率就比较高了。

深入解读榜单数据

榜单中除了幻觉率，还提供了其他几个关键指标， 帮助我们更全面地了解大模型的表现。

幻觉率、事实一致性率、回答率和平均总结长度

  • **幻觉率 (Hallucination Rate)**： 顾名思义，就是模型产生幻觉的频率。 数值越低，代表模型越可靠。
  • **事实一致性率 (Factual Consistency Rate)**： 与幻觉率相对，表示模型总结内容与原文事实相符的程度。 数值越高越好。
  • **回答率 (Answer Rate)**： 表示模型成功总结文档的比例。 有些模型可能会因为内容限制等原因拒绝回答， 回答率越高，说明模型的稳定性和可用性更好。
  • **平均总结长度 (Average Summary Length)**： 指模型生成的摘要平均长度。 这个指标可以帮助我们了解模型的总结风格， 是偏概括简洁，还是偏详细展开。

哪些模型表现突出？

从榜单来看， Google Gemini 家族 和 OpenAI 的部分模型 在幻觉控制方面做得相对较好， 幻觉率普遍较低，事实一致性率较高。 这也印证了这些公司在模型研发上的实力。

揭秘排行榜背后的方法论

了解了榜单结果，我们再来深入了解一下榜单的评估方法， 看看 Vectara 团队是如何给大模型做“幻觉检测”的。

评估模型：HHEM-2.1 的工作原理

HHEM-2.1 模型， 就像一位严谨的 “内容审核员”， 它会仔细比对大模型生成的摘要和原始文档， 判断摘要内容是否忠实于原文，有没有 “无中生有” 或者 “张冠李戴” 的情况。

为了训练 HHEM-2.1 模型，Vectara 团队使用了大量的 开源数据集， 这些数据集包含了各种各样的文档和摘要， 帮助模型学习如何识别幻觉。

数据来源：CNN / Daily Mail Corpus

榜单评估所用的文档， 主要来自 CNN / Daily Mail Corpus 数据集。 这是一个常用的新闻文本数据集， 包含了大量的短篇新闻报道， 非常适合用于评估模型的摘要能力和事实一致性。

[Hugging Face datasets 上 CNN / Daily Mail Corpus 数据集的页面截图]

评估指标：为什么选择总结的真实性？

Vectara 团队选择 文档摘要 任务来评估幻觉率， 而不是采用通用的问答形式， 是有其考量的。

  • 可控性： 文档摘要任务有明确的参考答案（原始文档）， 方便进行客观评估。 而开放式问答，很难界定答案的 “正确性”， 因为大模型可能掌握的信息比评估者还要多。
  • 实用性： 在 RAG (Retrieval Augmented Generation) 系统中， 大模型经常被用作 摘要器， 对搜索结果进行总结和提炼。 因此，评估模型在摘要任务中的幻觉率， 更贴近实际应用场景。

常见问题解答 (FAQ)

榜单发布后， 相信大家可能还有一些疑问， Vectara 团队也在 FAQ 中进行了解答， 我这里也给大家整理一下：

  • Q: 为什么用模型评估模型？
    • A: 为了实现 自动化、可重复、可扩展 的评估流程， 方便定期更新榜单， 及时反映大模型的最新进展。 人工评估成本高、效率低，难以满足快速迭代的需求。
  • Q: 模型拒绝回答或回答过于简短怎么办？
    • A: 榜单会 排除 这些情况， 只评估所有模型都成功生成摘要的文档。 榜单中的 “回答率” 和 “平均总结长度” 指标也印证了这一点。
  • Q: 如何保证评估的公平性？
    • A: 榜单使用了 **统一的评估模型 (HHEM-2.1)**、 统一的测试数据集 (CNN / Daily Mail Corpus) 和 统一的 Prompt， 尽可能减少评估偏差。
  • Q: 排行榜是否完美？
    • A: 当然不是。 幻觉问题非常复杂， 榜单只是一个 初步的探索， 还有很多局限性。 但它为我们提供了一个 有价值的参考， 帮助我们更好地了解大模型的幻觉风险。

扩展阅读与资源

如果你想更深入地了解大模型幻觉问题， 这里再分享一些扩展阅读和资源：

相关研究论文

  • SUMMAC: Re-Visiting NLI-based Models for Inconsistency Detection in Summarization (论文链接)
  • TRUE: Re-evaluating Factual Consistency Evaluation (论文链接)
  • TrueTeacher: Learning Factual Consistency Evaluation with Large Language Models (论文链接)
  • ALIGNSCORE: Evaluating Factual Consistency with A Unified Alignment Function (论文链接)
  • MiniCheck: Efficient Fact-Checking of LLMs on Grounding Documents (论文链接)

Hugging Face 上的资源