大模型幻觉:成因、识别与应对措施

分类:AI安全与伦理 · 作者:全国AI服务网技术编辑部 · 来源:全国AI服务网

幻觉是大模型生成不实内容的现象。本文分析其成因,介绍识别方法与缓解措施。

什么是幻觉

幻觉(Hallucination)指大模型生成了看似合理、实则不符合事实或缺乏依据的内容,例如编造不存在的书籍、论文、法条或链接。它是当前大模型固有的局限,而非偶然故障。

产生原因

  • 生成机制:模型按概率 predicting 下一个词,目标是生成"看起来合理"的文本,而非保证事实正确。
  • 知识缺口:训练数据未覆盖的内容,模型倾向于用相似模式"补全",而非承认不知道。
  • 知识过时:对训练截止日期之后的事件,模型缺乏可靠信息。
  • 提示词诱导:带有误导性预设的问题可能使模型顺着错误前提生成内容。

如何识别

对包含具体数字、日期、人名、书名、法条、链接的内容保持警惕;要求模型提供信息来源;交叉核对多个可靠来源;对关键事实优先查证原始资料。越具体、越"恰好符合预期"的细节,越值得核实。

应对措施

  • 检索增强(RAG):让模型基于提供的资料回答,并标注出处。
  • 提示词约束:明确要求"仅依据给定资料回答""不确定时说明不知道"。
  • 结构化校验:把关键字段抽取后与权威数据源比对。
  • 人工复核:在医疗、法律、金融等高风险领域保留专业人员审核环节。

正确认知

幻觉无法被彻底消除,只能被管理和降低。负责任的做法是把大模型输出视为"待核实的草稿",明确标注 AI 生成内容与生成时间,避免将未经核实的内容作为事实直接发布或引用。