法学实证研究怎么拿到能用的裁判文书数据?

这些年「实证法学」在国内法学院越来越热:量刑规律、同案不同判、司法政策效果、裁判说理的文本计量……方法论的书一本接一本。但真正动手做过的人都知道,卡住一个课题的,往往不是回归模型选 OLS 还是 logit,而是更前面、更不性感的一步——你手里那批裁判文书数据,到底干不干净、全不全、能不能让别人复现?本文不讲统计方法,只讲数据这一关:实证研究到底需要什么样的数据、为什么手工从网上下载会埋下样本偏差和可复现性的雷、人读型商业库为什么不适合做实证,以及怎么拿到一份真正能写进论文、经得起审稿的研究级数据集。

一、实证研究要的不是「几个判例」,是可统计的大样本结构化数据

做案例分析,你需要的是「读懂三五个有代表性的判决」;做实证研究,你需要的是完全不同的东西——一个边界清楚、字段统一、规模足够大、可以跑统计的样本框。这两件事对数据的要求差着量级。

具体说,一份能用于实证的裁判文书数据,至少要满足:

• 规模够大:要做分组比较、跑回归、控制变量,样本量动辄上万到百万级,几十份手抄判决撑不起任何有统计效力的结论。
• 字段已结构化:案号、法院、审级、地区、案由、立案/裁判时间、判项结果、涉案金额、是否上诉改判……这些必须是可筛选、可分组、可计算的字段,而不是埋在判决正文里的一段话。
• 覆盖可表征:你得说得清这批数据覆盖了哪些年份、地区、案由,缺了什么、缺多少——否则你根本不知道自己在对什么总体做推断。
• 可回链、可复现:每条记录要能定位回原始判决,且这个集合能被固定下来,让审稿人和后来者重跑出同样的结果。

这四条里,真正难的不是「找到判决」,而是把判决变成数据。很多课题在第一周就死在这——下载、清洗、抽字段耗掉两个月,正题还没开始。

二、手工从裁判文书网下载:三个会写进「研究局限」的坑

最常见的起手式,是研究生带着关键词去裁判文书网一篇篇下载、再人肉录入 Excel。能做,但作为正式研究的样本框,它有三个结构性问题,而且这三个都会在答辩或审稿时被追问。

1)样本偏差:在网文书 ≠ 全部判决

这是最致命、也最容易被忽视的一条。公开上网的判决从来不是全体判决的随机抽样:撤诉、调解结案的不进来,涉及隐私/未成年人/国家秘密的不公开,部分地区上网比例本就偏低,还有相当数量曾经上网、后又下架。这意味着你抓到的集合本身就经过了一层选择性筛选。如果你直接把它当作「全部判决」做推断,得到的任何比例、均值、相关性都可能是这层筛选的产物,而不是司法现实——这是典型的 selection bias / survivorship bias,审稿人一眼就会盯上。

2)结构化成本:你抽的是字段,踩的是规模

下载到的是面向阅读的排版文本。要变成能跑统计的数据,得把案号、审级、案由、判项、金额这些逐条抽成字段。小样本手工抽还行,样本一上规模就崩:正则规则对 99% 的文书成立,在十万、百万级上仍会错出几百上千条,而这些错误会悄悄污染你的统计结果。这套结构化与去重的工程难度,我们在裁判文书私有库的技术架构里拆得很细——它远比写个下载脚本难。

3)可复现性:别人重跑不出你的结果

实证研究的生命线是可复现。但「按某关键词在某网站下载」这个动作本身是不稳定的:网站内容在变、检索算法在变、文书在增删,你今天得到的 12,431 条,半年后审稿人复现时可能变成 11,980 条或 13,200 条。一个无法被固定、无法被重新获取的样本集,严格说来不满足可复现的要求——这也是越来越多期刊开始要求作者交代数据来源与获取时点的原因。

三、那用北大法宝、威科这些商业库行不行?

很多老师的第二反应是:学校买了数据库,直接用不就好了?这里有一个和做产品的团队一模一样的错配:这些库是按席位(per-seat)卖给人「检索阅读」的,不是按授权交付给研究者「批量统计」的。

结论和前面一样:人读型库是优秀的检索工具,却是别扭的研究数据源。你能在里面查到案子,但很难批量导出带统一字段、可固定快照、能写进复现说明的底层数据——这不是内容不好,是交付形态和研究需求不匹配。这套「人读库 vs 机器吃的语料」的区分,我们在怎么选数据底座里讲得更透,实证研究遇到的其实是同一道题。

四、研究级数据集长什么样:四个硬指标

无论你最终是授权一份语料,还是和数据方合作定制抽取,判断它能不能撑起实证研究,看四个硬指标:

• 覆盖可表征:数据方能说清覆盖的年份、地区、审级、案由分布,以及已知的缺口。这让你能在论文里诚实界定研究对象、讨论外部效度,而不是把「在网文书」假装成「全部判决」。
• 字段结构化且可溯源:核心字段(案号/法院/审级/案由/判项/金额/时间)是抽好的结构化数据,且每个字段都能回链到原文那一段,方便人工抽检核对抽取准确率。
• 可固定快照 + 稳定 ID:能锁定一个「研究用版本」,每条记录有不随时间变化的唯一 ID,让你的样本集可被冻结、可被复现。
• 合规、可署名:数据来源经得起合规审查(脱敏处理符合《个人信息保护法》《数据安全法》),并能给出明确的引用/署名口径,方便你在论文里规范交代数据出处。

五、典型的实证研究数据管线

有了一份合格的结构化语料,一个实证课题的数据侧大致是这样跑的——这条链路里,前两步最该外包,后面几步才是你的学术贡献:

1. 界定样本框:按年份/地区/案由/审级圈定研究对象,记录覆盖与缺口(写进数据说明)。
2. 拉取结构化数据:用 API 或批量数据集导出带字段的记录,固定为研究快照。
3. 抽检与清洗:对抽取字段做随机抽检估算准确率,处理缺失值、异常值、重复案件(同案一审/二审/再审合并)。
4. 变量构造:在结构化字段之上构造你的研究变量(如改判与否、量刑偏离度、说理长度等),必要时叠加文本计量。
5. 分析与复现包:跑模型,并把「数据获取时点 + 样本框定义 + 稳定 ID 列表 + 清洗脚本」打包成可复现材料。

其中第 2 步的检索与召回怎么做得准(尤其涉及语义筛选时),可以参考类案检索:语义向量 vs 关键词——选样本和找类案,底层是同一类问题。

六、涉密 / 敏感数据:为什么有时要数据不出域

如果你的课题涉及敏感案由、需要叠加本地司法机关提供的非公开数据,或者实验室对数据外发有合规要求,那么把数据放在公网服务上处理就不合适了。这种情况下更稳妥的是私有化部署:把结构化语料与分析环境一起放进学校或合作机关的内网,数据不出域、可过等保。这套离线部署的逻辑,我们在私有化部署如何满足保密义务里讲过,科研场景同理适用。

七、选数据源时照着问这 6 条

八、常见问题

Q:我只做一个小专题,样本就几百条,有必要这么讲究吗?

A:样本小,可复现和样本框反而更重要——几百条里混进几十条选择性偏差或抽取错误,占比就足以扭转结论。小样本可以手工核到每一条,但「这批数据从哪来、代表什么、能不能复现」这三个问题,无论样本大小都得在论文里交代清楚。

Q:用 AI/大模型直接读判决抽变量,是不是就不用结构化数据了?

A:大模型能帮你做文本计量和变量抽取,但它读的仍然是底层那批判决——如果底层数据样本有偏、字段没溯源,模型只会把偏差放大、还更难追责。AI 是分析工具,改变不了「先有一份覆盖可表征、可回链的干净数据」这个前提。

Q:数据集会不会很贵,课题经费扛不住?

A:实证研究的科研接入,口径和商业产品不一样。先把样本框(年份/地区/案由/规模)和字段需求讲清楚,很多时候按课题范围授权一个子集就够用,不必整库。可以先用试用 key 跑通管线、确认字段够用,再谈范围与方案。

相关阅读:怎么选数据底座:自建爬库 vs 接授权库 · 裁判文书私有库的技术架构 · 类案检索:语义向量 vs 关键词 · 私有化部署如何满足保密义务