一、先分清：你要解决的是「知识缺失」还是「能力缺失」
这是最重要的一个判断。知识缺失指模型不知道你们公司的信息（产品资料、内部制度、客户数据）；能力缺失指模型知道但不擅长某种特定输出（固定格式的合同条款、特定的分类逻辑、特定的代码风格）。
| 维度 | RAG 检索增强 | 微调 Fine-tuning |
|---|---|---|
| 解决的问题 | 知识缺失 | 能力 / 风格缺失 |
| 知识更新 | 更新索引即可，分钟级 | 需重新训练，小时到天级 |
| 训练成本 | 几乎为零（仅索引与检索开销） | 需 GPU 资源与标注样本，单次数千元起 |
| 可解释性 | 高，答案附带依据片段 | 低，难以给出具体依据 |
| 幻觉率 | 较低，可强制引用或拒答 | 较高，模型可能编造 |
| 数据要求 | 有文档即可，无需标注 | 需高质量标注样本，通常 500 条以上 |
| 典型场景 | 内部文档问答、产品咨询、制度查询、客服辅助 | 固定格式输出、特定风格、特殊分类逻辑、领域指令遵循 |
二、推荐决策路径
- 第一步：评估你的问题能否被检索解决。如果答案存在于你的文档、数据库或系统中 → 走 RAG。
- 第二步：若 RAG 效果不理想，先排查三个常见原因：文档本身质量差（内容陈旧、格式混乱）、切分策略不合适（按固定长度切导致语义割裂）、检索召回不足（向量维度与业务不匹配）。这三项修复成本远低于微调。
- 第三步：若上述都解决后，仍存在稳定的输出偏差（如必须按特定模板生成合同条款）→ 考虑微调。
- 第四步：两者组合使用。企业知识用 RAG 保证时效性与可溯源，输出风格与格式用微调固化。这是当前企业落地的主流架构。
常见的错误路径 很多企业一上来就微调，原因是「训练听起来更高级」。实际结果通常是：花了训练成本和周期，上线后知识一过期就要重训，最终陷入维护困境。
三、RAG 效果不好的三个常见原因与修法
| 问题现象 | 根本原因 | 修法 |
|---|---|---|
| 答案不准确、答非所问 | 文档切分破坏了语义完整性 | 按标题层级与语义边界切分，而非固定长度 |
| 检索不到正确内容 | 向量模型与业务语料不匹配 | 换用更适合中文的嵌入模型，并做混合检索（向量 + 关键词） |
| 回答正确但依据不相关 | 重排环节缺失或过度依赖生成 | 加入重排模型，先取 Top 20 再精排到 Top 3–5 |
四、成本对比
以一个中型企业知识问答场景（知识库 5,000 页文档、日活 500 用户）为例：
- RAG 方案：一次性投入主要是文档清洗与索引构建，约 2 万–6 万元；月度运行成本主要是嵌入调用与向量检索，通常 500–3,000 元。
- 微调方案：一次性投入包含样本准备与多轮训练，约 5 万–20 万元；知识每次更新需重新训练，月度成本数千至数万元。
- 混合方案：一次性投入 6 万–15 万元，运行成本介于两者之间，但知识时效性与可溯源性能保持最佳。
常见问题
RAG 和微调能不能一起用？
可以，而且这是企业落地的主流推荐架构。典型分工是：RAG 负责提供最新、最准确的企业知识（可溯源、可更新），微调负责固化输出格式、风格与特定指令遵循能力（降低生成随机性）。两者在架构上是并行的，先检索后生成，微调的模型作为生成环节的下游模型。
微调需要多少数据？
取决于任务复杂度与目标。简单的格式或风格对齐，200–500 条高质量样本往往就能看到明显效果；领域问答类微调通常需要 1,000 条以上经过标注的问答对；复杂推理任务需要数千条。样本质量比数量更关键——1,000 条经过校验的样本通常优于 10,000 条未经清洗的数据。
为什么我的 RAG 效果不好？
按实际项目经验，八成问题出在检索环节而非生成环节。最常见的是：文档切分破坏了语义（用固定 500 字切分导致表格与段落被截断）、嵌入模型不适合中文、或缺少重排环节直接用 Top 1 结果生成。建议先做一次人工评测集（50–100 条真实问题与期望答案），用它来定位是检索问题还是生成问题，再决定优化方向。
向量数据库该怎么选？
对中小企业与中等数据量（百万条向量以内），主流开源方案如 Milvus、Qdrant、pgvector 都够用，且都提供中文支持。若已有 PostgreSQL 集群，pgvector 的运维成本最低；若数据量大或需要多租户隔离，Milvus 更合适。选型优先级通常是：是否已有数据库运维能力 > 是否需要多租户 > 性能需求。
知识库多久需要更新一次？
取决于业务内容的变化频率。制度与产品资料通常按季度或半年更新一次；价格表、库存、活动等运营数据可能每天变化。RAG 架构的一个关键优势正是把「更新成本」从「重新训练」降到「重新索引」——增量索引通常几分钟完成。建议接入内容管理系统的发布钩子，文档更新后自动触发索引重建。