1、环境安装
使用华为云euleros操作系统,python版本3.9.5,CPU无GPU服务器:
(1)pip3 install setuptools_scm -i http://mirrors.aliyun.com/pypi/simple/ --trusted-host mirrors.aliyun.com
(2)pip3 install seqeval -i http://mirrors.aliyun.com/pypi/simple/ --trusted-host mirrors.aliyun.com
(3)python3 -m pip install paddlepaddle==3.0.0b1 -i https://www.paddlepaddle.org.cn/packages/stable/cpu/
(4)服务器无法直接安装,下载到本地后上传到服务器进行安装:
下载地址:
https://www.paddlepaddle.org.cn/whl/paddlenlp.html
下载最新paddlenlp并安装,下载如下版本:
paddlenlp-3.0.0b0.post20240727-py3-none-any.whl
2、测试代码
from paddlenlp import Taskflow
# 中文分词
seg = Taskflow("word_segmentation")
seg("第十四届全运会在西安举办")
>>> ['第十四届', '全运会', '在', '西安', '举办']
# 命名实体识别
ner = Taskflow("ner")
ner("《孤女》是2010年九州出版社出版的小说,作者是余兼羽")
>>> [('《', 'w'), ('孤女', '作品类_实体'), ('》', 'w'), ('是', '肯定词'), ('2010年', '时间类'), ('九州出版社', '组织机构类'), ('出版', '场景事件'), ('的', '助词'), ('小说', '作品类_概念'), (',', 'w'), ('作者', '人物类_概念'), ('是', '肯定词'), ('余兼羽', '人物类_实体')]
# UIE关系抽取
from pprint import pprint
from paddlenlp import Taskflow
schema = ['时间', '选手', '赛事名称'] # Define the schema for entity extraction
ie = Taskflow('information_extraction', schema=schema)
pprint(ie("2月8日上午北京冬奥会自由式滑雪女子大跳台决赛中中国选手谷爱凌以188.25分获得金牌!"))
3、UIE任务
如果未进行模型微调,UIE的结果可能为空,如下所示:
from pprint import pprint
from paddlenlp import Taskflow
schema = ['运动类型']
ie = Taskflow('information_extraction', schema=schema)
pprint(ie("预防总是优于治疗,华为运动健康深谙此道。其健康预警系统,能根据用户的健康数据,提前预测可能的健康风险,如久坐提醒、视力保护提示等,帮助用户养成良好的生活习惯。同时,华为运动健康还与众多专业医疗机构合作,提供丰富的健康资讯和专家建议,让用(脉购)户在日常生活中就能获取专业的健康知识。"))
未进行微调模型执行结果如下: