为什么需要 RAG
大语言模型的知识来自训练数据,存在知识截止日期,且难以覆盖私域信息,还容易产生幻觉。检索增强生成(Retrieval-Augmented Generation,RAG)的思路是:在生成答案前,先从外部知识库中检索相关资料,把这些资料作为上下文提供给模型,让模型"有据可依"地回答。
完整流程
RAG 通常分为离线索引与在线查询两个阶段:
- 文档切分:将长文档切成语义相对完整的片段(chunk),大小需兼顾检索精度与上下文完整性。
- 向量化:用嵌入模型(Embedding)把文本片段转换为向量,存入向量数据库。
- 检索:把用户问题也向量化,在向量库中按相似度找出最相关的若干片段。
- 增强生成:将检索到的片段与问题一起组织成提示词,交给大模型生成答案,并要求引用来源。
关键环节
- 切分策略:按语义或结构切分,保留必要的重叠,避免把关键信息割裂到不同片段。
- 嵌入模型选择:选择与目标语言、领域匹配的嵌入模型,中文场景应关注模型对中文语义的覆盖。
- 混合检索:结合关键词检索(BM25)与向量检索,兼顾精确匹配与语义相似,通常优于单一方式。
- 重排序(Rerank):用重排序模型对检索结果二次打分,提升交给大模型的上下文质量。
- 引用溯源:在答案中标注来源文档与片段,便于核验,降低幻觉风险。
评估与局限
RAG 的效果取决于检索质量与生成质量两方面。常见评估指标包括检索召回率、答案忠实度(是否基于检索内容)与答案相关性。其局限在于:如果知识库中缺乏答案,或检索遗漏了关键片段,模型仍可能给出不准确的回答。因此需要对"检索不到"的情况设计明确的兜底策略。