CAIL司法AI竞赛数据包全解析：从解压到Baseline实战指南

简介：中国法研杯司法人工智能挑战赛（CAIL2018-2020）的Python代码与模型配置包，面向法律NLP研究者、算法工程师及参赛选手，覆盖罪名预测、法条推荐、刑期预测与法律问答等典型任务，可作为司法智能模型快速搭建与复现的代码级参考资料。压缩包共1596个文件，大小约37.68MB，其中以971个Python脚本为核心，配合155个JSON数据配置、123个TXT文本、53个Markdown说明、24个Shell脚本、22个YAML文件和14个Dockerfile等，同时包含多组RoBERTa-wwm系列模型的config文件，从数据处理、模型训练到评估部署都有对应脚本与配置支撑。目前已有249人学习下载。资源按年度、任务和模块组织，目录结构清晰，用户可快速定位到罪名预测、法条推荐或问答系统的具体实现代码，并理解预训练模型在司法文本上的微调方式和参数细节。通过阅读和修改这些代码，能够掌握司法领域AI应用的常用技术路线，也可在此基线上进行调参、替换模型或扩展新任务。

1. 这个zip里藏着的，是三年司法AI竞赛的完整脚印

拿到中国法研杯-司法人工智能挑战赛(CAIL2018-2020).zip这个名字的时候，我第一反应是：这又是一个“什么都往里塞”的竞赛资料包。但真正解压完、把里面的数据结构翻过一遍之后，我得说，这个包的价值被大多数人严重低估了。它不是一个普通的数据集，而是CAIL挑战赛从2018年到2020年三届任务、三批官方数据、三套评测体系的完整集合，覆盖了罪名预测、法条推荐、刑期预测、相似案例匹配、阅读理解、信息抽取、论辩挖掘、司法摘要这些方向。换句话说，谁要是能把这个包里的数据吃透，基本就等于把中文司法NLP这几年最核心的赛题都摸了一遍。

这个包适合谁？适合正在做法律文本处理的研究生、想入门司法AI但找不到干净数据的工程师、准备参加CAIL或同类竞赛的选手，也适合想找一份“带标注的真实场景中文语料”来练手的NLP学习者。相比自己去裁判文书网现抓数据，这份压缩包里的数据已经过官方清洗和标注，拿过来就能做训练、跑基线、复现论文实验，省掉大量数据预处理的时间。

不过，别高兴太早。这个zip本身也有不少坑：解压报错、乱码、分卷缺失、内存撑爆、长文本截断、标签不均衡……每一个我都踩过。这篇就把我从“拿到压缩包”到“跑通第一个Baseline”的完整过程拆开讲，包括解压阶段的避坑、数据结构的解读、三个年份任务的技术拆解，以及一套可以直接照搬的代码流程。

2. 解压不等于胜利：一个zip能坑出多少种解法

2.1 第一步永远是校验，不是双击

很多人的习惯是下载完直接双击解压，我建议你先停一下。竞赛数据压缩包通常会跨多个网盘中转，传输过程中很常见文件损坏，而这个包本身有好几个GB，损坏概率并不低。正确做法是先看官网或下载页是否提供了MD5或SHA256校验值。

sha256sum CAIL2018-2020.zip

然后把输出和官方给的哈希值比对。如果官方没给，至少确认文件大小和页面标注一致。别小看这一步，我见过太多人解压到一半报错，最后发现是下载工具断点续传导致的文件不完整，重新下载一遍就全好了。

2.2 “could not find eocd”的排查链路

这是zip解压时最经典的报错之一。完整信息通常是invalid zip archive: could not find eocd，意思是zip文件末尾的中央目录记录（End of Central Directory）找不到。遇到这个，先别急着换解压软件，按这个顺序排查：

第一，看文件大小。用ls -lh看zip大小是否和下载页一致，如果明显偏小，基本就是没下载完。第二，确认盘符格式。如果文件存放在FAT32格式的U盘或分区里，单个文件超过4GB会被截断，这时要把文件移动到NTFS或exFAT分区再解压。第三，尝试修复。有些zip只是末尾记录轻微损坏，可以用zip -F修复：

zip -F CAIL2018-2020.zip --out CAIL2018-2020_fixed.zip

如果修复也失败，说明不是“缺尾巴”而是文件主体不完整，老老实实重新下载。还有一个冷门原因：某些网盘客户端会在下载过程中自动生成一个“预览文件”占位，如果解压时打开的是那个占位文件，同样会报eocd错误。所以解压前记得查看文件属性，确认是完整实体文件。

2.3 乱码与分卷：中文文件名的历史包袱

解压之后，最常见的问题是文件名乱码。原因很简单：制作zip时，源系统可能用了GBK编码保存中文文件名，而macOS或新版Windows自带的解压工具默认按UTF-8解码，结果就是一堆“锟斤拷”和“烫烫烫”。这不是文件坏了，是编码没对上。解决方案是换用支持手动指定编码的工具，我个人推荐7-Zip或Bandizip：右键选择“打开压缩包”，在文件名编码处切换到GBK，就能正常显示中文目录。

如果你拿到的是一组分卷文件，比如CAIL.zip、CAIL.z01、CAIL.z02，不要单独解压任何一个分卷。正确做法是把所有分卷放在同一目录下，用7-Zip打开主文件.zip，它会自动识别并读取其余分卷，然后一次性解压。如果分卷路径不一致，会提示“必须有下列压缩分卷z01”。

2.4 密码保护与合规提醒

有人问，万一下载的zip带密码怎么办。这个得分情况。竞赛官方数据通常不会加密，如果页面提供了密码，直接输入即可；如果这个包是你自己以前压缩的，密码忘了，且确认这是你有权操作的数据，可以尝试用hashcat配合字典或掩码做恢复。但如果这是来源不明、别人分享的加密压缩包，建议直接放弃。不要尝试破解来路不明文件的密码，一是法律风险，二是这种压缩包很可能本身携带恶意内容，没必要冒险。

注意：数据包里如果包含裁判文书原文，即使官方公开，也请遵守比赛协议，不要私自转售或商用。这是基本的职业素养。

3. 数据内部长什么样：从目录结构到单条样本

3.1 三层目录设计

解压完成后，你会看到类似这样的目录结构：

CAIL2018-2020/ ├── CAIL2018/ │ ├── charge.json │ ├── law.json │ ├── term.json │ └── valid.json ├── CAIL2019/ │ ├── reading/ │ │ ├── train.json │ │ └── valid.json │ └── match/ │ ├── train.json │ └── valid.json └── CAIL2020/ ├── extract/ ├── argumentation/ └── summarization/

这个结构本身就是一个“官方菜单”。CAIL2018的charge.json对应罪名预测，law.json对应法条推荐，term.json对应刑期预测；CAIL2019分成阅读理解和相似案例匹配两个目录；CAIL2020则是信息抽取、论辩挖掘和司法摘要三个任务。建议不要改动原始目录，在外部建一个workspace/来做自己的实验，这样随时可以对着官方数据结构比对。

3.2 单条样本字段解析

拿CAIL2018的罪名预测数据举例，单条样本大致长这样：

{ "fact": "被告人李某与被害人王某因琐事发生争执，李某持木棍击打王某头部，致王某轻伤二级。", "meta": { "criminals": ["李某"], "punish_of_crime": "有期徒刑六个月", "relevant_articles": [234], "accusation": ["故意伤害罪"] } }

这里的fact是裁判文书中“经审理查明”部分的事实描述，meta是官方标注的结果。具体到罪名预测任务，你的模型要做的事情就是输入fact，预测accusation；法条推荐则是预测relevant_articles；刑期预测是预测punish_of_crime。这种“原始输入+结构化标注”的格式非常干净，比自己去爬网页解析强太多。

3.3 数据量级与格式

需要注意的是，不同年份的JSON内部结构并不一致。CAIL2018用data字段包了一层列表，CAIL2019的阅读理解在documents里放多个段落，CAIL2020的信息抽取则用类似BIO标签的序列标注格式。所以写读取代码时一定要先json.load之后type()看下最外层是list还是dict，别想当然。

4. 三个子任务的技术拆解：分类、阅读理解与要素抽取

4.1 CAIL2018：多标签文本分类三连

CAIL2018的核心可以概括成三个文本分类问题。罪名预测是单标签多分类，因为一份文书通常只对应一个主要罪名；法条推荐是多标签多分类，一个案件可能同时涉及多个法条；刑期预测则是给一个离散的时间段（比如“六个月以下”“六个月到一年”），本质上是多分类或回归问题。

这三个任务最适合用来练手，因为数据量最大、标注最稳定。我当时用的最快基线是：加载中文BERT，把fact截断到512 token，罪名预测用单标签Softmax，法条推荐用多标签Sigmoid，刑期预测同样做多分类。三个模型共享同一个数据管道，一天就能跑出可提交的结果。

4.2 CAIL2019：阅读理解与相似匹配

CAIL2019把难度提升了一个档次。阅读理解任务不是简单的抽取式问答，答案类型有“是/否”“区间抽取”“从选项中选”等好几种，需要你根据文档和问题判断答案类型，再决定怎么解码。最常见的做法是做一个答案类型分类器，再针对不同类别做指针网络或选择器。

相似案例匹配则是典型的文本对分类：给定两个案例，判断它们是否相似。这里有个容易踩的坑——案例文本本身就有一千字以上，直接把两个长文本拼接喂BERT，效果并不好。后来实践下来，先抽取双方的事实描述要点，再做基于交互注意力（Cross-Encoder）的匹配，效果提升明显。

4.3 CAIL2020：信息抽取与司法摘要

CAIL2020的要素抽取任务要求从文书中抽取出涉及金额、日期、刑期、行为等结构化要素，基本就是序列标注的实战。论辩挖掘则要求识别判决书中的主张、理由、证据等论辩成分，这块的标注粒度更细，适合做边界检测和篇章结构理解。司法摘要任务的目标是把复杂的裁判文书压缩成一段要点，可以使用抽取式摘要做基线，再尝试用生成式模型。

这一年的数据量比前两年小，但任务多样性最高。对新手来说，CAIL2020更适合做“模型能力检测”，而不是刷分。我当时用通用领域的中文预训练模型去跑要素抽取，F1并不理想，说明司法领域的术语和句式和通用语料差异很大。如果你打算认真做CAIL2020，建议先用CAIL2018的数据做领域预训练继续训练（domain-adaptive pretraining），再下游微调，效果会好不少。

5. 把数据跑起来：从JSON到Baseline的完整流程

5.1 加载与预处理

首先写一个统一的数据加载函数。不同任务的数据格式不同，但至少保证能读进来、能看结构：

import json def load_json(path): with open(path, "r", encoding="utf-8") as f: return json.load(f) data = load_json("CAIL2018/charge.json") # 通常数据在 data["data"] 里 samples = data.get("data", data) print(len(samples)) print(samples[0].keys())

如果你发现文件很大，加载时内存占用过高，可以把JSON换成逐行读取。CAIL2020的部分任务使用JSONL格式，每行一个样本，这时直接用for line in f:循环处理即可，不要一次性json.load整个文件。

5.2 标签体系与数据集划分

接下来把文本标签转成id。以罪名预测为例：

labels = sorted(set(s["meta"]["accusation"][0] for s in samples)) label2id = {label: i for i, label in enumerate(labels)} id2label = {i: label for label, i in label2id.items()}

然后划分训练集和验证集。这里有个关键点：不要用随机划分。同一个案件可能对应多条文书，如果同案件的相似表述被分到训练和验证两边，模型在验证集上的分数会虚高。最好按案件ID或文书来源去重后再划分。官方数据有时已经提供了valid.json，直接用官方划分即可。

5.3 最小可跑Baseline

我建议第一个Baseline直接用HuggingFace的transformers库，中文BERT微调，代码量最小：

from transformers import AutoTokenizer, AutoModelForSequenceClassification tokenizer = AutoTokenizer.from_pretrained("bert-base-chinese") model = AutoModelForSequenceClassification.from_pretrained( "bert-base-chinese", num_labels=len(label2id) ) # 训练时把样本编码成模型输入 def encode(text): return tokenizer(text, truncation=True, max_length=512, padding="max_length", return_tensors="pt")

训练循环可以照搬HuggingFace官方示例，用Trainer或自己写for epoch都可以。关键是把max_length设成512，再长的文本直接截断，先跑通，后面再优化。不要一上来就上滑窗、长文本建模，那会拖慢迭代速度。

5.4 评测提交格式

CAIL的官方评测一般要求把预测结果写成指定格式再提交。以CAIL2018为例，通常是一个JSON文件，每行对应一条样本的预测罪名。代码里最后记得把id和预测标签对应上：

results = [] for i, pred_id in enumerate(preds): results.append({"id": test_ids[i], "prediction": id2label[pred_id]}) with open("prediction.json", "w", encoding="utf-8") as f: json.dump(results, f, ensure_ascii=False, indent=2)

提交前先确认预测结果数量是否和测试集一致，再用官方给的评估脚本算一遍指标，不要等到提交页面才报错。

6. 踩坑记录与提效建议

6.1 内存与磁盘空间

三届数据加起来，解压后可能占用好几个GB，如果解压到系统盘C盘，跑几个模型之后磁盘可能就不够了。建议放在数据盘，同时留意json.load大文件时的内存占用。一个约500MB的JSON，json.load之后字典对象在内存里可能要占2到3GB。解决方法是读入后立刻只保留需要的字段，或者转成更紧凑的格式（比如只保留文本和标签的CSV）。

6.2 长文本截断与信息丢失

裁判文书动辄上千字，BERT的512 token上限装不下。直接截断会把案件的关键信息切掉，模型分数上不去。常见的三种替代方案：一是滑窗，把长文本切成多个片段分别编码，再做池化聚合；二是分层编码，对句子先编码再对句子序列编码；三是抽关键句，用TextRank或位置特征选前几段。如果只是刷Baseline，建议先用截断跑通，后面再做滑窗。

6.3 标签不均衡与数据泄露

司法数据里罪名分布极不均衡，故意伤害、盗窃这类常见罪名样本很多，危险驾驶、贪污贿赂这类样本很少。直接用CrossEntropy训练，少数类的F1几乎为零。解决办法是加类别权重或Focal Loss，简单有效。更隐蔽的问题是数据泄露：有些字段，比如punish_of_crime，本身就和罪名强相关，如果模型在预测罪名时能“看到”刑期，分数会虚高。处理时一定要把输入限定在fact，其他meta字段只当作标签使用。

6.4 实验管理建议

面对这么多任务，建议按“一个任务一个目录”的方式管理实验，每次改动记录一下训练参数和结果。别笑，我见过太多人跑完模型不记录，过了两周连自己用的学习率都忘了。用现成的实验管理工具也行，一个小脚本记录也够用，关键是“可复现”。

6.5 从Baseline到进阶的顺序

我的建议是先把CAIL2018的罪名预测跑进Top20%的基线水平，再转CAIL2019或CAIL2020。因为2018数据量最大、任务最经典、评测标准最清晰，适合训练基本功。后面再处理长文本、多任务、小样本场景时，你已经有了一套完整的数据管道，只需要替换模型头和损失函数即可。

这个zip包我前前后后解压、重下、修复过五次，中间一度想放弃。但把数据真正跑通之后，回头再看，这些折腾都值得。裁判文书这种长尾术语密集、篇章结构规则化的文本，在通用语料里很难找到。你现在手握三年官方整理的标注数据，唯一要做的事情就是静下心，一条一条把数据读进去、把模型跑起来。动手永远比空想要快。

本文还有配套的精品资源，点击获取