参考文章:https://github.com/PaddlePaddle/PaddleNLP/blob/develop/model_zoo/uie/doccano.md
参考文章:https://github.com/doccano/doccano
参考文章:https://doccano.github.io/doccano/
参考文章:https://zhuanlan.zhihu.com/p/371752234
系统: Ubuntu 20.04.4 LTS (GNU/Linux 5.4.0-146-generic x86_64)
Python: 3.8.10
doccano
安装
使用下面的语句来安装,注意仅支持3.8以上的python。
pip install doccano
默认情况下,SQLite 3 用于默认数据库。如果要使用 PostgreSQL,请安装额外的依赖项:
pip install 'doccano[postgresql]'
并DATABASE_URL根据您的 PostgreSQL 凭据设置环境变量:
DATABASE_URL="postgres://${POSTGRES_USER}:${POSTGRES_PASSWORD}@${POSTGRES_HOST}:${POSTGRES_PORT}/${POSTGRES_DB}?sslmode=disable"
初始化doccano数据库
doccano init
创建一个super user。这里要把pass改成你需要的密码。当然,用户名也可以改成别的。
doccano createuser --username admin --password 123456
启动webserver
参考文章:https://doccano.github.io/doccano/faq/#how-to-create-a-user
首先,在终端中运行下面的代码来启动WebServer
doccano webserver --port 30003
然后,打开另一个终端,运行下面的代码启动任务队列:
doccano task
然后在电脑中打开http://127.0.0.1:30003/
,使用刚刚的账号即可登陆。
在浏览器输入http://127.0.0.1:30003/admin/
即可进行修改密码,新增用户等操作。
使用
参考文章:https://github.com/PaddlePaddle/PaddleNLP/blob/develop/model_zoo/uie/doccano.md
创建项目
创建项目时选择序列标注任务,并勾选Allow overlapping entity及Use relation Labeling。适配命名实体识别、关系抽取、事件抽取、评价观点抽取等任务。
创建项目时选择文本分类任务。适配文本分类、句子级情感倾向分类等任务。
下面是序列标注的子选项
导入数据集
标签构建
任务标注
数据导出
抽取式和实体/评价维度级分类任务数据
{ "id" : 56,
"text" : "深圳市交通运输行政执法支队2023年交通执法后勤物资配送服务项目1标采购公告\\n来源:深圳公共资源交易中心发布时间:2023-03-1318:54:04浏览次数:次[字体:]",
"entities" :[{ "id" : 92,
"label" : "标题",
"start_offset" : 0,
"end_offset" : 36 },{ "id" : 169,
"label" : "标段",
"start_offset" : 32,
"end_offset" : 34 }],
"relations" :[],
"Comments" :[]}
标注数据保存在同一个文本文件中,每条样例占一行且存储为json格式,其包含以下字段
- id: 样本在数据集中的唯一标识ID。
- text: 原始文本数据。
- entities: 数据中包含的Span标签,每个Span标签包含四个字段:
- id: Span在数据集中的唯一标识ID。
- start_offset: Span的起始token在文本中的下标。
- end_offset: Span的结束token在文本中下标的下一个位置。
- label: Span类型。
- relations: 数据中包含的Relation标签,每个Relation标签包含四个字段:
- id: (Span1, Relation, Span2)三元组在数据集中的唯一标识ID,不同样本中的相同三元组对应同一个ID。
- from_id: Span1对应的标识ID。
- to_id: Span2对应的标识ID。
- type: Relation类型。
句子级分类任务数据
{
"id": 41,
"data": "大年初一就把车前保险杠给碰坏了,保险杠和保险公司 真够倒霉的,我决定步行反省。",
"label": [
"负向"
]
}
- id: 样本在数据集中的唯一标识ID。
- data: 原始文本数据。
- label: 文本对应类别标签。