Embedding 是什么
Embedding(嵌入)是把文本、图片等非结构化数据转换为数值向量的技术。经过训练后,语义相近的内容在向量空间中的距离也更近。这使得我们可以用向量之间的距离(如余弦相似度)来衡量两段文本的语义相关性,是实现语义检索的基础。
向量数据库的职责
向量数据库专门存储和检索高维向量。其核心能力是近似最近邻搜索(ANN):在海量向量中快速找出与查询向量最相似的若干条,而无需与全部向量逐一比较。常见索引结构包括 HNSW、IVF 等,它们在检索速度、召回率与内存占用之间各有权衡。
过滤与混合检索
实际应用中常需要按元数据过滤(如时间、类别、权限)后再检索,因此向量数据库普遍支持标量过滤与向量检索结合。结合关键词检索的混合检索往往能取得更好效果:向量检索擅长语义相似,关键词检索擅长精确匹配专名、编号等。
选型考量
- 数据规模与性能:根据向量数量与查询并发选择合适的索引与部署方式。
- 中文支持:选择对中文语义覆盖良好的嵌入模型,必要时针对领域数据微调。
- 部署方式:根据隐私与运维要求,选择托管服务或自托管方案。
- 生态兼容:与现有开发框架、数据处理流程的集成便利程度。
常见误区
向量维度越高不一定越好;相似度数值也没有统一的可解释阈值。检索效果应通过真实问题与标注数据来评估,而非仅凭理论指标。此外,嵌入模型与检索库需要版本管理:更换嵌入模型后,原有向量通常需要重新生成。