律所和政法机关准备上法律 AI,选完供应商、谈完预算,很快会撞上第一个绕不开的技术岔路口:到底该做检索增强(RAG),还是干脆微调一个属于本所的专属法律大模型?供应商 A 拍胸脯说要微调一个懂本所业务的大模型,供应商 B 说 RAG 检索增强就够了、微调是烧钱。两种说法听起来都有道理,但选错方向的代价并不小:轻则多花几十万、上线周期硬生生拖长半年,重则做出一个答得很流畅、却引用不可核验、法规一更新就悄悄失效的系统。这篇写给要为这个决定负责的人——用律所听得懂的话讲清两条路到底在解决什么问题、法律场景的一条硬约束为什么天然偏向 RAG、成本与维护三本账怎么算、微调真正该用在哪,以及一条经得起推敲的务实组合路线。
一、先讲清楚:RAG 和微调解决的根本不是同一个问题
很多人把 RAG 和微调放在一起比,像在比「哪个更强」,这本身就问错了——它俩解决的压根不是同一件事。用一句话区分:微调改变的是模型「怎么说」,RAG 改变的是模型「说什么、依据什么说」。
- 微调(Fine-tuning):拿一批数据继续训练模型,调整它的参数,让它的表达风格、术语用法、输出格式更贴合特定需求。它优化的是模型的「说话方式和习惯」,知识是揉进权重里的、看不见也摸不着。
- 检索增强(RAG):在模型外面挂一个可检索的知识底座(判决、法规、本所卷宗),模型回答前先去底座里检索相关材料,再基于检索到的原文作答,并把引用回链到原文出处。它优化的是回答的「事实依据和可核验性」,知识放在外部、随时可查可换。
打个律所听得懂的比方:微调像是把一位律师送去脱产培训,让他说话更专业、写东西更规范,但他脑子里记的东西还是培训那天的、而且你没法要求他把每句话都翻到出处;RAG 则像是给律师配一个随时更新的权威案例法规库和一条铁规矩——回答必须引用库里的原文、并标出处。前者改变的是人的表达,后者改变的是他作答的依据和可追溯性。理解了这个区别,后面的选择才不会拧巴。
二、法律场景的硬约束:可回链、可核验、跟得上更新
技术路线怎么选,不能脱离场景空谈。法律不是一个可以「大概对就行」的领域,它有三条几乎不可让步的硬约束,而正是这三条,决定了两条路线的适配度天差地别:
| 法律场景硬约束 | RAG 的表现 | 纯微调的表现 |
|---|---|---|
| 每个结论要能点回原文核对 | 回答基于检索到的原文,引用可回链到判决/法条出处 | 知识揉进参数,答出来的引用无法核对来源 |
| 法规更新要跟得上 | 同步新数据即可更新,不用动模型 | 每次法规变动都要重新准备数据、重训、重测 |
| 幻觉必须可控 | 可约束在检索范围内作答,查不到就说没有 | 被训得「更自信」,边界情况更易编造 |
这张表其实已经把结论说了一半:法律 AI 最要命的需求——来源可核、更新可跟、幻觉可控——恰好都是 RAG 的强项、纯微调的弱项。一个答得再流畅、却没法告诉你「这句话出自哪份判决哪个法条」的系统,在法律场景里是不敢用的;一个法规改了半年还在拿旧口径答题的系统,是有执业风险的。这不是说微调没用,而是说把法律知识直接微调进模型,是在用一个不擅长这件事的工具去扛法律场景最硬的三条约束。关于幻觉与引证核验这条底线怎么系统性守住,可以进一步看法律 AI 幻觉怎么治:裁判文书引证核验落地指南。
三、三本账:成本、周期、维护
抛开效果,单从投入产出看,两条路的账也很不一样。律所决策时最该拉开来算的是这三本账:
| 维度 | RAG 主路线 | 纯微调路线 |
|---|---|---|
| 前期成本 | 主要在数据底座与检索工程,GPU 训练开销小 | 需要高质量标注数据 + 可观的训练算力,门槛与花费都更高 |
| 上线周期 | 底座就绪后相对快,可先跑起来再迭代 | 准备数据、训练、评估、调参,周期长、不确定性大 |
| 更新维护 | 同步新判决/法规即可,维护成本低且持续 | 知识过期要重训,每次都是一轮成本 |
| 可解释性 | 高——每个回答带可核对的出处 | 低——参数是黑盒,答错难定位是哪来的 |
要特别提醒一个常见误区:微调不是「一次性投入」,而是「反复投入」。很多单位以为微调是花一笔钱训一个模型就一劳永逸,实际上只要法律在更新、业务在变,靠微调维持知识新鲜就意味着一轮又一轮地重新训练。法律恰恰是更新最频繁的领域之一,这本维护账拉长了看,往往比前期那笔训练费更沉。反观 RAG,更新的重担落在数据底座的同步上,而这件事本就该由数据服务方持续做,单位自己的边际成本要低得多。
一句话记住这三本账:纯微调是「前期贵、周期长、更新更贵、还看不清账」;RAG 是「投入落在可复用的数据底座上,先跑起来、持续低成本更新、且每笔回答都能查账」。对要长期负责、要经得起审计的法律场景,后者的财务与合规特性都更稳。
四、那微调到底该用在哪?
讲到这里千万别误会成「微调没用、只做 RAG 就行」。微调在法律 AI 里有它明确、且不可替代的用武之地——关键是用在「怎么说」的层面,而不是拿它注入知识。真正值得微调的,是这三类:
- 风格与语气。让输出贴合法律文书的严谨表达,少一些口水话和 AI 腔,读起来像业内人写的而不是聊天机器人生成的。
- 术语与体例。让模型稳定使用本地区、本单位习惯的法律术语、称谓与行文体例,而不是每次都要靠提示词去纠。
- 固定输出结构。比如按本所模板生成检索报告、案情摘要、要素清单,让格式高度一致、可直接进入工作流,而不是每份都要人再排一遍。
这三类的共同点是:它们都是表达和格式层面的优化,不涉及「事实是什么」。事实由 RAG 从可回链的底座里取,表达由微调打磨得更专业规范,两者各管一段、互不越位,才是完整方案。这也和我们此前实测过的结论一致——微调用来给模型「叠本所的表达与办案风格」效果明显,但拿它当知识库用就会翻车,详见法律大模型微调:用本所历史卷宗叠加,效果到底有没有。
一条分工铁律:知识用 RAG 管(可查、可更新、可回链),风格与格式用微调调(更专业、更一致)。把这两件事的边界划清楚,就基本不会在技术路线上走弯路。
五、务实路线:以 RAG 为主、微调为辅,分步走
综合前面几节,对绝大多数律所和政法机关,最稳的不是二选一,而是一条以 RAG 为主干、微调为补充、分步推进的组合路线。判断该动哪一层,有个简单的先后顺序:
# 法律 AI 技术路线决策顺序(从便宜稳妥到昂贵慎重)
1. 先补数据底座 → 底座全不全、新不新、能不能回链?(决定 RAG 上限)
2. 再调检索 → 混合检索/重排/切分,把该召回的判决召回来
3. 再改提示与约束 → 强化引证约束、查不到就说没有,压住幻觉
4. 最后才考虑微调 → 且只调风格/术语/格式,不注入知识
5. 换底层模型 → 成本最高、回归风险最大,最后手段而非第一反应这个顺序的核心逻辑是:绝大多数「答得不好」,根子在底座缺数据或检索没召回对,补数据、调检索就能解决,根本轮不到动模型。一上来就投大钱微调,常常是把钱花在了错的层——底座还没建好,微调出来的模型照样答不准,因为它本就不该负责「知道什么」。务实的做法是:先把 RAG 和数据底座跑通、拿到真实使用反馈,确认瓶颈确实卡在表达和格式上,再针对性地做一轮小范围微调。这样每一分钱都花在刀刃上,系统也是一步一个脚印地稳。关于 RAG 底座本身怎么搭、卷宗/合同/类案怎么组织成可检索的知识库,可参考律所知识库怎么建:三库一体的 RAG 落地实战;底座的数据从哪来、私有化怎么部署,见裁判文书私有库的本地化部署架构。
六、给信息化负责人的技术路线选型自查清单
- 供应商是用 RAG 还是微调扛知识?如果对方主打「微调一个懂法律的大模型」来解决知识问题,要追问引用怎么回链、法规更新怎么跟。
- 每个回答能点回原文吗?结论能不能一键翻到出处判决/法条,这是法律场景敢不敢用的底线。
- 法规更新靠什么?是同步数据底座(RAG)还是重新训练(微调)?后者的长期维护账要提前算清。
- 数据底座全不全、新不新、可回链吗?RAG 的效果上限由底座决定,底座缺一块系统就盲一块。
- 微调的目标是知识还是风格?如果是想靠微调注入知识,方向大概率错了;用来调风格、术语、格式才对。
- 上线顺序对吗?是先把 RAG 跑通再按需微调,还是一上来就砸钱微调?后者往往钱花在错的层。
- 预算结构合理吗?钱是更多落在可复用的数据底座上,还是一次性烧在训练算力上?
- 能不能审计?系统答错时,能不能定位到是检索没召回、还是底座缺数据,而不是面对一个说不清的黑盒?
七、常见问题
Q:法律 AI 到底该做 RAG 还是微调?
A:以 RAG 为主、微调为辅,不是二选一。RAG 解决「基于真实、可核验的材料作答」,微调解决「表达风格和格式更贴合本单位」。法律最要命的来源可核、更新可跟、幻觉可控,都是 RAG 的强项,所以先把 RAG 主干做扎实,微调只在风格和格式确有需要时补充。
Q:为什么不建议把法律知识直接微调进模型?
A:会同时踩三个死穴——不可核验(答案没法回链原文)、更新代价高(法规一变就要重训)、幻觉不降反升(被训得更自信反而更敢编)。知识放在 RAG 的外部底座里,更新只需同步数据、回答可约束在原文范围内并回链核对,更适合法律场景。
Q:微调在法律 AI 里还有用吗?
A:有,用在「怎么说」而非「知道什么」:调表达风格与语气、稳定本单位术语体例、生成固定模板的报告/摘要。且不是上线第一步,应先把 RAG 和底座跑通、确认瓶颈在表达格式上,再针对性微调。
Q:RAG 路线对数据底座有什么要求?
A:全、新、可回链。RAG 的上限由底座决定,底座缺一块系统就盲一块;法律一直更新,底座要能持续同步;每条数据要能追溯回权威原文,引用才能真正核对。很多 RAG 卡在效果,不是算法不行,是底座不全、不新、不可回链。
RAG 做得好不好,一半在算法,一半在底座
检索增强的效果上限,由它检索的那个数据底座决定。文书查提供 1.5 亿份真实、可回链的裁判文书数据底座与私有化离线部署,支持持续同步更新——让你的 RAG 建在一个权威、全量、可回链、跟得上法规更新的底座上。把你的技术路线与落地场景发来,1 个工作日内给一版可执行的选型与部署建议。
📞 联系商务 Jack · 131 6872 7779或邮件 chenjiaxin@wenshucha.com · 查看 私有化部署方案 · API/MCP 接入
相关阅读:律所知识库怎么建:三库一体的 RAG 落地实战 · 法律大模型微调:用本所历史卷宗叠加效果实测 · 法律 AI 幻觉怎么治:引证核验落地指南 · 裁判文书私有库的本地化部署架构 · 法律 AI 上线只是开始:持续运营与迭代 · 私有化部署方案