基本定义
大语言模型(Large Language Model,简称 LLM)是一类基于深度学习、用海量文本数据训练的自然语言处理模型。它的核心任务是根据已有上下文预测下一个词,通过反复预测逐步生成连贯的文本。当模型参数规模、训练数据量达到一定量级后,会涌现出理解指令、逻辑推理、代码编写等能力。
工作原理
主流大语言模型普遍采用 Transformer 架构。训练分为两个阶段:
- 预训练(Pre-training):在大规模文本语料上学习语言规律与世界知识,模型据此掌握词与词之间的统计关联和语义关系。
- 对齐微调(Alignment):通过指令微调与人类反馈强化学习(RLHF)等方式,让模型的输出更符合人类意图、更安全有用。
使用时,模型并不"查询数据库",而是基于输入提示词和训练时学到的模式,逐字生成概率最高的后续内容。这一机制决定了它既能灵活生成,也可能生成看似合理却不真实的内容。
主要能力
- 自然语言理解与生成:问答、摘要、翻译、改写、创作。
- 代码与数学:代码生成、调试、数学推理与推导。
- 指令遵循与角色扮演:按指定格式、风格或角色输出内容。
- 上下文学习:通过提示词中的示例完成新任务,无需重新训练。
能力边界与局限
- 幻觉(Hallucination):可能编造不存在的事实、引用或链接,尤其在专业或长尾领域。
- 知识时效性:训练数据有截止日期,之后发生的事件需要借助检索等外部手段获取。
- 上下文长度限制:一次能处理的文本长度有限,超长内容需要切分或检索。
- 缺乏真实理解与主观体验:输出基于模式而非真正的认知,不应对其结论不加验证地采信。
如何正确使用
在实践中,应把大语言模型视为"强大的文本处理与推理辅助工具",而非权威事实来源。对准确性要求高的场景,建议结合检索增强生成(RAG)、引用溯源与人工复核,并明确标注信息来源与生成时间。