如何缓解大模型幻觉？
来源：AiGC面试宝典
作者：宁静致远
发布时间：2023年09月29日
一、为什么会出现大模型幻觉？
1.1 训练数据中存在矛盾或错误的表述
大模型幻觉出现的主要原因之一是训练数据中存在矛盾或错误的表述问题。由于用于LLMs训练的标注数据大多来自于互联网上的数据（新闻、文章、书籍、网站等），虽然这些数据在一定程度上提供了有价值的语言模式，但也不可避免地包含一些不准确的信息（因为互联网上的信息并非都经过审核）。
LLM的训练过程大多数是基于next token prediction（下一个词预测）的方式进行预训练，因此它只能保证文本生成的流畅性，而无法辨别所遇到的信息是否真实或准确。
如果训练数据中包含一些矛盾或错误的表述，就可能导致LLM学习这些错误的表述，从而在一定程度上导致幻觉的产生。
📝通俗解释：就像孩子会模仿大人说话一样，大模型也是通过"模仿"互联网上的文本来学习的。互联网上的信息有对有错，大模型学会了之后，可能把错误的信息也当作"正确"的来说，所以就会产生"胡说八道"的幻觉。
1.2 训练数据中存在偏见表述
大模型幻觉出现的主要原因之二是训练数据中存在偏见表述。
训练数据中可能存在与社会偏见、文化信仰和个人观点相关的语料。这些偏见也可能被LLM学会，从而导致LLM生成的文本包含一些错误或有偏见的信息。
📝通俗解释：比如训练数据里如果大部分文章都说"程序员都是男生"，大模型可能就会学到这个偏见，在回答相关问题时产生带有性别偏见的回答。
1.3 LLMs学习到的知识缺乏外部验证
大模型幻觉出现的主要原因之三是LLMs学习到的知识缺乏外部验证。
虽然大模型拥有在训练过程中学习并获得大量内部知识的能力，但由于缺乏实时访问最新信息或根据外部参考验证事实的能力，使得它们无法辨别产生的信息是准确的还是虚构的。
此外，生成过程中缺乏事实核查机制，使得LLM可以生成听起来合理但缺乏任何实质性证据或事实依据的文本。这也告诉我们不能太相信LLM。
📝通俗解释：大模型就像一个"书呆子"，它读了很多书，但这些书里的知识可能是过时的，而且它没有办法去查字典或上网验证自己说的对不对。所以它可能会一本正经地"编故事"。
总结：LLM幻觉的原因在于训练数据、文本中存在的偏见以及LLM的固有局限性。通过解决这些基本因素，我们可以努力提高LLM的准确性和可靠性，尽量保证它们生成的信息不仅连贯，而且是准确的。
二、如何缓解大模型幻觉？
要克服LLM幻觉需要从多个方面一起考虑，比如从训练层面和用户层面。以下是一些常见的策略：
2.1 方法一：提高训练数据质量
提高训练数据的质量对于减小LLM幻觉至关重要。比如可以考虑剔除那些不准确、有偏见的数据，并纳入多样化和可靠（比如经过事实审查）的数据来源。
用于LLM训练的数据量越大（广度和深度都要考虑），最终训练得到的LLM出现幻觉的可能性就可能越小。
📝通俗解释：这就像给小孩选择学习材料一样，如果只让他看一些粗制滥造的课外书，他学到的东西可能也是错的。给他看经过审核的优质教材，他学到的知识就更可靠。
2.2 方法二：使用合适的训练算法
LLM如何训练也关乎后续在推理时是否会产生幻觉，因此可以考虑在训练阶段融入一些有助于生成与事实一致的文本的策略。
常见的训练策略包括：
- RLHF（人类反馈强化学习）：通过人类评估来调整模型输出
- Constitutional AI：让模型根据既定原则自我审查输出
- 指令微调：使用高质量的指令-响应对进行微调
📝通俗解释：这相当于不仅教孩子读书，还教他"如何判断书里说的是不是对的"。通过一些特殊的训练方法，让模型学会对自己的输出进行"自查"。
2.3 方法三：事实核查和验证机制
训练好的LLM在推理阶段仍然可以进行一些事实审查或者验证，比如通过在生成过程中进行判断或者交叉引用从而保证准确性。
具体做法包括：
- 让模型在回答问题时提供信息来源
- 设置多个模型互相验证彼此的回答
- 接入实时知识库进行事实核对
📝通俗解释：就像考试时允许学生查字典一样，让大模型在回答问题的时候也能"查资料"，而不是光靠记忆里学到的知识硬撑。
2.4 方法四：外部知识集成
使LLM能够访问和利用外部知识来源可以显著提高它们生成准确和可靠信息的能力。将结构化数据、知识图谱或垂直领域的知识库集成到训练/推理过程中，可以增强模型对事实信息的理解，并提高其生成可靠文本的能力。
📝通俗解释：这相当于给大模型配了一个"专业顾问"。当模型遇到不确定的问题时，可以随时请教这个顾问，获得准确的答案，而不是自己凭记忆"编"答案。
2.5 方法五：Human-in-the-Loop（人在环中）
通过在训练和测试阶段融入人类的反馈，从而纠正和完善模型的输出。训练阶段比如RLHF就是很好的例子，推理阶段同样也可以考虑一些交互式的推理方式将人类反馈融入其中。
📝通俗解释：就像老师批改作业一样，让人来告诉模型"你说得对"还是"你说错了"，模型通过这些反馈不断改进自己的回答。
2.6 方法六：偏见缓解
一方面要在数据上做一些预处理，另一方面也要定期评估和监控模型输出的偏见，同时还可以通过一些手段减少推理过程中出现的偏见。
📝通俗解释：这相当于在模型成长的过程中不断"纠偏"。发现它有哪里说得不对或有偏见，就要及时指出来并纠正它。
2.7 方法七：用户教育和批判性思维
LLM的幻觉可以缓解，但是难以根除。因此用户也应该有批判性思维，不能盲目依赖LLM的输出，可以通过交叉引用信息、多个来源信息综合考虑。
📝通俗解释：即使有了再好的工具，使用的人也要有判断力。不能把大模型说的话奉为真理，遇到重要信息时还是要自己查证一下。
三、总结
总的来说，缓解LLM幻觉需要从多个维度进行努力：
- 数据层面：提高训练数据质量，消除偏见
- 训练层面：使用合适的训练算法，如RLHF
- 推理层面：接入外部知识库，进行事实核查
- 人类监督：引入人类反馈，持续优化模型
- 用户层面：培养批判性思维，不盲目信任模型输出