LaWGPT—基于中文法律知识的大模型

文章目录

LaWGPT：基于中文法律知识的大语言模型
- 数据构建
- 模型及训练步骤
- - 两个阶段
  - - 二次训练流程
    - 指令精调步骤
    - 计算资源
- 项目结构
- 模型部署及推理
LawGPT_zh：中文法律大模型（獬豸）
- 数据构建
- 知识问答
- 模型推理
- 训练步骤

LaWGPT：基于中文法律知识的大语言模型

LaWGPT是2023年5月13日发布的一系列基于中文法律知识的开源大语言模型。

该系列模型在通用中文基座模型（如 Chinese-LLaMA、ChatGLM 等）的基础上扩充法律领域专有词表、大规模中文法律语料预训练，增强了大模型在法律领域的基础语义理解能力。在此基础上，构造法律领域对话问答数据集、中国司法考试数据集进行指令精调，提升了模型对法律内容的理解和执行能力。

github地址：https://github.com/pengxiao-song/LaWGPT/tree/main

数据构建

本项目基于中文裁判文书网公开法律文书数据、司法考试数据等数据集展开，详情参考中文法律数据源汇总（Awesome Chinese Legal Resources）。

初级数据生成：根据 Stanford_alpaca 和 self-instruct 方式生成对话问答数据
知识引导的数据生成：通过 Knowledge-based Self-Instruct 方式基于中文法律结构化知识生成数据。
引入 ChatGPT 清洗数据，辅助构造高质量数据集。

模型及训练步骤

2023/04/12，内部测试模型：
LaWGPT-7B-alpha：在 Chinese-LLaMA-7B 的基础上直接构造 30w 法律问答数据集指令精调；

2023/05/13，公开发布两个模型：
Legal-Base-7B：法律基座模型，使用 50w 中文裁判文书数据并基于 Chinese-LLaMA-7B 模型二次预训练后得到的模型，Legal-Base-7b模型（无需合并）下载地址：
https://huggingface.co/yusp998/legal_base-7b
https://hf-mirror.com/yusp998/legal_base-7b
LaWGPT-7B-beta1.0：法律对话模型，构造 30w 高质量法律问答数据集基于 Legal-Base-7B 指令精调后的模型

2023/05/30：公开发布一个模型
LaWGPT-7B-beta1.1：法律对话模型，构造 35w 高质量法律问答数据集，基于 Chinese-alpaca-plus-7B 指令精调后的模型。

两个阶段

LawGPT 系列模型的训练过程分为两个阶段：

第一阶段：扩充法律领域词表，在大规模法律文书及法典数据上预训练 Chinese-LLaMA
第二阶段：构造法律领域对话问答数据集，在预训练模型基础上指令精调

二次训练流程

参考 resources/example_instruction_train.json 构造二次训练数据集
运行 scripts/train_clm.sh

指令精调步骤

参考 resources/example_instruction_tune.json 构造指令微调数据集
运行 scripts/finetune.sh

计算资源

8 张 Tesla V100-SXM2-32GB ：二次训练阶段耗时约 24h / epoch，微调阶段耗时约 12h / epoch

由于 LLaMA 和 Chinese-LLaMA 没有开源模型权重。根据相应开源许可，本项目只能发布 LoRA 权重，无法发布完整的模型权重。

项目结构

LaWGPT
├── assets    # 静态资源
├── resources # 项目资源
├── models    # 基座模型及 lora 权重
│   ├── base_models
│   └── lora_weights
├── outputs   # 指令微调的输出权重
├── data      # 实验数据
├── scripts   # 脚本目录
│   ├── finetune.sh # 指令微调脚本
│   └── webui.sh    # 启动服务脚本
├── templates # prompt 模板
├── tools     # 工具包
├── utils
├── train_clm.py  # 二次训练
├── finetune.py   # 指令微调
├── webui.py      # 启动服务
├── README.md
└── requirements.txt

模型部署及推理

准备代码，创建环境

# 下载代码
git clone git@github.com:pengxiao-song/LaWGPT.git
cd LaWGPT

# 创建环境
conda create -n lawgpt python=3.10 -y
conda activate lawgpt
pip install -r requirements.txt

启动 web ui（可选，易于调节参数）

首先，执行服务启动脚本：bash scripts/webui.sh
其次，访问 http://127.0.0.1:7860 ：

命令行推理（可选，支持批量测试）

首先，参考 resources/example_infer_data.json 文件内容构造测试样本集；

其次，执行推理脚本：bash scripts/infer.sh。其中 --infer_data_path 参数为测试样本集路径，如果为空或者路径出错，则以交互模式运行。

注意，以上步骤的默认模型为 LaWGPT-7B-alpha ，如果您想使用 LaWGPT-7B-beta1.0 模型，则通过以下三个步骤获取：
1. 获取 Chinese-LLaMA-7B 原版模型权重

首先，需要获得 Chinese-LLaMA-7B 的原版模型权重。以下是一些可供参考的获取方式：

手动合并：根据 Chinese-LLaMA 官方文档提供的合并步骤，手动合并模型权重
检索下载：在 Hugging Face 官网：模型检索

将模型权重文件夹移动至 models/base_models 目录下，如 models/base_models/chinese-llama-7b-merged

2. 获取 legal-lora-7b 模型权重

下载 legal-lora-7b 模型权重，

将模型权重文件夹移动至 models/lora_weights 目录下，如 models/lora_weights/legal-lora-7b

3. 运行合并脚本

最后，合并原版 Chinese-LLaMA-7B 模型权重和二次训练到的 legal-lora-7b 权重：

sh scripts/merge.sh

LawGPT_zh：中文法律大模型（獬豸）

LawGPT_zh模型由上海交通大学科研团队通过ChatGLM-6B LoRA 16-bit 指令微调得到中文法律大模型。数据集包括现有的法律问答数据集和基于法条和真实案例指导的self-Instruct构建的高质量法律文本问答数据集，提高了通用语言大模型在法律领域的表现，提高了模型回答的可靠性和专业程度。
github地址：

数据构建

数据主要分为两个部分：

律师和用户之间的情景对话
对特定法律知识的问答

数据类型	描述	数量	占比（%）
情景对话	真实的律师用户问答	200k	100
知识问答	法律知识问题的解释性回答	coming soon	0
总计	-	200k	100

情景对话数据

真实的中文律师用户问答数据，来自CrimeKgAssitant 收集的200k条情景对话数据，该数据集来自刘焕勇老师的开源项目。

question:朋友欠钱不还咋办
answers: ['欠款金额是多少 ', '多少钱呢', '律师费诉讼费都非常少都很合理，一定要起诉。', '大概金额多少？', '需要看标的额和案情复杂程度，建议细致面谈']
*******************************************************
question:昨天把人家车刮了,要赔多少
answers: ['您好，建议协商处理，如果对方告了你们，就只能积极应诉了。', '您好，建议尽量协商处理，协商不成可起诉']
*******************************************************
question:最近丈夫经常家暴,我受不了了
answers: ['报警要求追究刑事责任。', '您好，建议起诉离婚并请求补偿。', '你好！可以起诉离婚，并主张精神损害赔偿。']
*******************************************************
question:毕业生拿了户口就跑路可以吗
answers: 您好,对于此类问题,您可以咨询公安部门
*******************************************************
question:孩子离家出走,怎么找回来
answers: ['孩子父母没有结婚，孩子母亲把孩子带走了？这样的话可以起诉要求抚养权的。毕竟母亲也是孩子的合法监护人，报警警察一般不受理。']
*******************************************************

利用ChatGPT清洗CrimeKgAssitant数据集得到52k单轮问答数据

下载(提取码：MYTT)

利用ChatGPT根据CrimeKgAssitant的问答重新生成，使得生成的回答比原回答更详细，语言组织更规范。

带有法律依据的情景问答92k

下载(提取码：MYTT)

根据中华人民共和国法律手册上最核心的9k法律条文，利用ChatGPT联想生成具体的情景问答，从而使得生成的数据集有具体的法律依据。数据格式如下

"question": "在某家公司中，一名员工对女同事实施了性骚扰行为，女同事向公司进行举报，但公司却没有采取必要的措施来制止这种行为。\n\n公司未采取必要措施预防和制止性骚扰，导致女同事的权益受到侵害，该公司是否需要承担责任？"
"answer": "根据《社会法-妇女权益保障法》第八十条规定，“学校、用人单位违反本法规定，未采取必要措施预防和制止性骚扰，造成妇女权益受到侵害或者社会影响恶劣的，由上级机关或者主管部门责令改正；拒不改正或者情节严重的，依法对直接负责的主管人员和其他直接责任人员给予处分。”因此，该公司因为未采取必要措施预防和制止性骚扰行为，应该承担责任，并依法接受相关的处分。女同事可以向上级机关或主管部门进行申诉，要求该公司被责令改正，并对相关负责人员给予处分。"
"reference": [
            "社会法-妇女权益保障法2022-10-30:    \"第七十九条 违反本法第二十二条第二款规定，未履行报告义务的，依法对直接负责的主管人员和其他直接责任人员给予处分。\",\n",
            "社会法-妇女权益保障法2022-10-30:    \"第八十条 违反本法规定，对妇女实施性骚扰的，由公安机关给予批评教育或者出具告诫书，并由所在单位依法给予处分。\",\n",
            "社会法-妇女权益保障法2022-10-30:    \"学校、用人单位违反本法规定，未采取必要措施预防和制止性骚扰，造成妇女权益受到侵害或者社会影响恶劣的，由上级机关或者主管部门责令改正；拒不改正或者情节严重的，依法对直接负责的主管人员和其他直接责任人员给予处分。\",\n",
            "社会法-妇女权益保障法2022-10-30:    \"第八十一条 违反本法第二十六条规定，未履行报告等义务的，依法给予警告、责令停业整顿或者吊销营业执照、吊销相关许可证，并处一万元以上五万元以下罚款。\",\n"
        ]

知识问答

收集法律领域的教科书，经典案例等数据，自建一个法律专业知识数据库。

知识问答数据集针对Self-Instruct的可靠性和安全性漏洞，使用了基于特定知识的Reliable-Self-Instruction：通过提供具体的法律知识文本，先让ChatGPT生成与该段法律知识内容与逻辑关系相关的若干问题，再通过“文本段-问题”对的方式让ChatGPT回答问题，从而使ChatGPT能够生成含有法律信息的回答，保证回答的准确性。
在这里插入图片描述
其中，计划法律知识数据包含民法商法、行政法、经济法、社会法、刑法等各个细分法律的条例，分析和题库。

模型推理

配置项目依赖环境

cd src
pip install -r requirements.txt
#其中peft需要本地安装
cd peft
pip install -e .

下载(提取码：fj9d)ChatGLM-6B模型参数（ChatGLM权重参数有变化，以及函数进行了修改，请下载全部文件），将其放入./model目录下。
下载(提取码：ymor)检索模型参数，将其放入./retriver目录下。
下载text2vec-base-chinese模型参数，将其放入./text2vec-base-chinese目录下。

运行交互文件（要求单卡显存 >= 15G）,输入new chat可以清空上下文信息

#demo.py为直接生成
CUDA_VISIBLE_DEVICES=$cuda_id python ./demo.py

#demo_r.py加入了检索功能
CUDA_VISIBLE_DEVICES=$cuda_id python ./demo_r.py

命令行交互界面实例

Human:
信用卡欠账不还后果很严重吗？
------------------------------------------------
Answer:
信用卡欠款如果不及时偿还，会对自己产生严重的影响。下面是一些可能的后果：
1.利息和罚款：如果未在规定时间内还款，则会开始收取滞纳金和利息，费用可能会非常高；
2.信用记录受损：逾期付款会影响个人的信用报告，使个人在未来申请贷款、购房和其他业务时面临困难；
3.银行起诉：若未能在指定时间内还清全额账单，可能会被银行起诉至法院要求归还债务并支付相应的诉讼费用；
4.法律风险：逾期付款可能会导致合同违约，构成违约则需要承担违约责任(包括赔偿损失);
5.失去使用信用卡的权利：如果发现自己的信用记录中存在多次逾期或其他不良记录，将会失去使用某些信用卡或贷款的机会。
因此，为了避免以上情况的发生，应合理规划好开支，按时按量偿还信用卡欠款。

训练步骤

下载训练数据集
配置好train_lora.py参数
运行train_lora.py函数（使用模型并行算法，请勿同时使用数据并行）

本项目训练代码采用模型并行算法，可以在最少4张3090显卡上完成对ChatGLM LoRA 16-bit的指令微调。训练命令如下

cd src
CUDA_VISIBLE_DEIVCES=$cuda_id python train.py \
                        --title $YOUR_EXP_NAME \
                        --train_path $YOUR_TRAINING_DATA_PATH \
                        --save_dir $YOUR_LORA_CHECKPOINT_SAVE_PATH