为什么需要评估
大模型应用的效果受模型、提示词、数据、参数等多因素影响,凭主观感觉难以稳定判断。建立系统化评估,才能在迭代中判断改动是否有效、问题出在哪个环节。
常见评估维度
- 准确性:回答是否符合事实与期望答案。
- 忠实度:在RAG场景中,回答是否严格基于检索到的资料,而非自行发挥。
- 相关性:回答是否切题、满足用户真实意图。
- 安全性与合规:是否包含有害、偏见或违规内容。
- 效率:响应延迟、Token消耗与调用成本。
建立评测集
评估的基础是一组有代表性的测试样本:真实用户问题、期望答案或评判标准,以及对难度的分层覆盖。评测集应覆盖典型场景与边界情况,并定期更新以反映真实分布。对RAG系统,还应单独标注"应有检索结果"与"知识库中无答案"两类问题。
评估方法
常见做法包括:人工评估(准确但成本高)、规则与指标评估(如BLEU、ROUGE等,适合有标准答案的任务)、以及用更强的模型作为评判者(Model-as-Judge)。实践中通常组合使用:自动化评估用于快速回归,人工抽检用于校准与兜底。
分环节定位问题
对RAG应用,建议把评估拆到各环节:检索阶段看召回率与排序质量,生成阶段看忠实度与相关性。这样才能判断效果不佳究竟是"没检索到"还是"没用好",从而对症优化。
持续迭代
评估不是一次性工作。应把评测集成到发布流程,每次提示词、模型或数据变更后自动回归,观察指标变化,避免"修好一个问题、引入另一个问题"。