---

language: en pipeline_tag: fill-mask license: cc-by-sa-4.0 thumbnail: https://i.ibb.co/p3kQ7Rw/Screenshot-2020-10-06-at-12-16-36-PM.png tags:

• legal widget:
• text: "The applicant submitted that her husband was subjected to treatment amounting to [MASK] whilst in the custody of police."

---

LEGAL-BERT：法学院走出的法律专家

LEGAL-BERT 是专为法律领域打造的 BERT 模型家族，旨在助力法律自然语言处理研究、计算法学及法律科技应用。为训练不同版本的 LEGAL-BERT，我们从公开资源中采集了涵盖立法、判例、合同等多领域的 12 GB 英语法律文本。特定领域变体（CONTRACTS-、EURLEX-、ECHR-）及通用版 LEGAL-BERT 在专业任务中的表现均优于直接使用原始 BERT 模型。
本版本是基于法律数据从头训练的轻量化 BERT-BASE 模型（体积仅为原版的 33%），在保持卓越性能的同时显著提升效率（速度提升约 4 倍），并大幅降低环境资源消耗。

---

I. Chalkidis, M. Fergadiotis, P. Malakasiotis, N. Aletras 与 I. Androutsopoulos 合作完成。《LEGAL-BERT：法学院走出的法律专家》。收录于 2020 年在线举行的自然语言处理实证方法会议（EMNLP 2020）短论文集。(https://aclanthology.org/2020.findings-emnlp.261)

---

预训练语料

LEGAL-BERT 的预训练语料包括：

• 116,062 份欧盟立法文件，源自欧盟出版物办公室运营的 EU Law 数据库 EURLEX (http://eur-lex.europa.eu)

• 61,826 份英国立法文件，取自英国立法门户网站 (http://www.legislation.gov.uk)

• 19,867 起欧洲法院（ECJ）案例，同样来自 EURLEX 数据库

• 12,554 起欧洲人权法院（ECHR）案例，源自其官方数据库 HUDOC (http://hudoc.echr.coe.int/eng)

• 164,141 起美国多地法院判例，收录于判例法访问项目门户 (https://case.law)

• 76,366 份美国合同文件，来自美国证券交易委员会（SECOM）EDGAR 数据库 (https://www.sec.gov/edgar.shtml)

预训练细节

• 我们使用谷歌BERT官方GitHub仓库（https://github.com/google-research/bert）提供的代码训练了BERT模型。
• 我们发布的模型与英文BERT-BASE模型结构相似（12层网络、768维隐藏层、12个注意力头、1.1亿参数）。
• 我们采用相同的训练配置：训练100万步，批次大小为256条序列，序列长度为512，初始学习率为1e-4。
• 通过TensorFlow研究云计划(TFRC)免费提供的Google Cloud TPU v3-8设备，并利用GCP研究积分完成了训练。衷心感谢Google两项计划对我们的大力支持！

模型列表

模型名称	模型路径	训练语料
CONTRACTS-BERT-BASE	nlpaueb/bert-base-uncased-contracts	美国合同文本
EURLEX-BERT-BASE	nlpaueb/bert-base-uncased-eurlex	欧盟立法文献
ECHR-BERT-BASE	nlpaueb/bert-base-uncased-echr	欧洲人权法院案例
LEGAL-BERT-BASE *	nlpaueb/legal-bert-base-uncased	全领域语料
LEGAL-BERT-SMALL	nlpaueb/legal-bert-small-uncased	全领域语料

* LEGAL-BERT-BASE即Chalkidis等人(2020)论文中所述的LEGAL-BERT-SC模型：基于法律领域语料从头训练，使用相同语料训练的句片分词器创建新词表。

** 鉴于许多研究者对LEGAL-BERT-FP模型（基于原始BERT-BASE检查点微调）感兴趣，我们已将其发布在Archive.org（https://archive.org/details/legal_bert_fp）。这些模型属于次要版本，主要面向希望深入探讨Chalkidis等人(2020)研究中开放问题的学者。

加载预训练模型

from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained("nlpaueb/legal-bert-small-uncased")
model = AutoModel.from_pretrained("nlpaueb/legal-bert-small-uncased")

使用LEGAL-BERT变体作为语言模型

语料库	模型	掩码词	预测结果
	BERT-BASE-UNCASED
(合同)	本[MASK]协议由通用汽车公司与约翰·默里签订。	雇佣	('new', '0.09'), ('current', '0.04'), ('proposed', '0.03'), ('marketing', '0.03'), ('joint', '0.02')
(欧洲人权法院)	申请人称其丈夫在阿达纳安全局拘留期间遭受了相当于[MASK]的待遇	酷刑	('torture', '0.32'), ('rape', '0.22'), ('abuse', '0.14'), ('death', '0.04'), ('violence', '0.03')
(欧盟法律)	建立用于识别和登记[MASK]动物的系统及牛肉与牛肉产品标签管理	牛科动物	('farm', '0.25'), ('livestock', '0.08'), ('draft', '0.06'), ('domestic', '0.05'), ('wild', '0.05')
	CONTRACTS-BERT-BASE
(合同)	本[MASK]协议由通用汽车公司与约翰·默里签订。	雇佣	('letter', '0.38'), ('dealer', '0.04'), ('employment', '0.03'), ('award', '0.03'), ('contribution', '0.02')
(欧洲人权法院)	申请人称其丈夫在阿达纳安全局拘留期间遭受了相当于[MASK]的待遇	酷刑	('death', '0.39'), ('imprisonment', '0.07'), ('contempt', '0.05'), ('being', '0.03'), ('crime', '0.02')
(欧盟法律)	建立用于识别和登记[MASK]动物的系统及牛肉与牛肉产品标签管理	牛科动物	(('domestic', '0.18'), ('laboratory', '0.07'), ('household', '0.06'), ('personal', '0.06'), ('the', '0.04')
	EURLEX-BERT-BASE
(合同)	本[MASK]协议由通用汽车公司与约翰·默里签订。	雇佣	('supply', '0.11'), ('cooperation', '0.08'), ('service', '0.07'), ('licence', '0.07'), ('distribution', '0.05')
(欧洲人权法院)	申请人称其丈夫在阿达纳安全局拘留期间遭受了相当于[MASK]的待遇	酷刑	('torture', '0.66'), ('death', '0.07'), ('imprisonment', '0.07'), ('murder', '0.04'), ('rape', '0.02')
(欧盟法律)	建立用于识别和登记[MASK]动物的系统及牛肉与牛肉产品标签管理	牛科动物	('live', '0.43'), ('pet', '0.28'), ('certain', '0.05'), ('fur', '0.03'), ('the', '0.02')
	ECHR-BERT-BASE
(合同)	本[MASK]协议由通用汽车公司与约翰·默里签订。	雇佣	('second', '0.24'), ('latter', '0.10'), ('draft', '0.05'), ('bilateral', '0.05'), ('arbitration', '0.04')
(欧洲人权法院)	申请人称其丈夫在阿达纳安全局拘留期间遭受了相当于[MASK]的待遇	酷刑	('torture', '0.99'), ('death', '0.01'), ('inhuman', '0.00'), ('beating', '0.00'), ('rape', '0.00')
(欧盟法律)	建立用于识别和登记[MASK]动物的系统及牛肉与牛肉产品标签管理	牛科动物	('pet', '0.17'), ('all', '0.12'), ('slaughtered', '0.10'), ('domestic', '0.07'), ('individual', '0.05')
	LEGAL-BERT-BASE
(合同)	本[MASK]协议由通用汽车公司与约翰·默里签订。	雇佣	('settlement', '0.26'), ('letter', '0.23'), ('dealer', '0.04'), ('master', '0.02'), ('supplemental', '0.02')
(欧洲人权法院)	申请人称其丈夫在阿达纳安全局拘留期间遭受了相当于[MASK]的待遇	酷刑	('torture', '1.00'), ('detention', '0.00'), ('arrest', '0.00'), ('rape', '0.00'), ('death', '0.00')
(欧盟法律)	建立用于识别和登记[MASK]动物的系统及牛肉与牛肉产品标签管理	牛科动物	('live', '0.67'), ('beef', '0.17'), ('farm', '0.03'), ('pet', '0.02'), ('dairy', '0.01')
	LEGAL-BERT-SMALL
(合同)	本[MASK]协议由通用汽车公司与约翰·默里签订。	雇佣	('license', '0.09'), ('transition', '0.08'), ('settlement', '0.04'), ('consent', '0.03'), ('letter', '0.03')
(欧洲人权法院)	申请人称其丈夫在阿达纳安全局拘留期间遭受了相当于[MASK]的待遇	酷刑	('torture', '0.59'), ('pain', '0.05'), ('ptsd', '0.05'), ('death', '0.02'), ('tuberculosis', '0.02')
(欧盟法律)	建立用于识别和登记[MASK]动物的系统及牛肉与牛肉产品标签管理	牛科动物	('all', '0.08'), ('live', '0.07'), ('certain', '0.07'), ('the', '0.07'), ('farm', '0.05')

下游任务评估

参考论文《LEGAL-BERT：法学院走出的木偶戏法》（Chalkidis等人，2020年，https://aclanthology.org/2020.findings-emnlp.261）中的实验设计。

作者与出版物

@inproceedings{chalkidis-etal-2020-legal,
    title = "{LEGAL}-{BERT}: The Muppets straight out of Law School",
    author = "Chalkidis, Ilias  and
      Fergadiotis, Manos  and
      Malakasiotis, Prodromos  and
      Aletras, Nikolaos  and
      Androutsopoulos, Ion",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    doi = "10.18653/v1/2020.findings-emnlp.261",
    pages = "2898--2904"
}

关于我们

AUEB自然语言处理小组致力于开发算法、模型和系统，使计算机能够处理与生成自然语言文本。

本小组当前的研究方向包括：

• 面向数据库、本体、文档集及网络的问答系统，特别是生物医学领域的问答系统；
• 基于数据库和本体（尤其是语义网本体）的自然语言生成；
• 文本分类（包括垃圾信息与不良内容过滤）；
• 信息抽取与观点挖掘（涵盖法律文本分析与情感分析）；
• 希腊语自然语言处理工具（如语法解析器和命名实体识别器）；
• 自然语言处理中的机器学习技术，特别是深度学习。

本小组隶属于雅典经济与商业大学信息学系信息处理实验室。

Ilias Chalkidis 代表 AUEB自然语言处理小组

| GitHub: @ilias.chalkidis | Twitter: @KiddoThe2B |