昇思MindSpore学习总结十五 ——基于Mindspore 实现BERT对话情绪识别

news2024/11/10 14:45:13

1、环境配置

根据实际情况,选择合适版本。

%%capture captured_output
# 实验环境已经预装了mindspore==2.2.14,如需更换mindspore版本,可更改下面mindspore的版本号
!pip uninstall mindspore -y
!pip install -i https://pypi.mirrors.ustc.edu.cn/simple mindspore==2.2.14

# 该案例在 mindnlp 0.3.1 版本完成适配,如果发现案例跑不通,可以指定mindnlp版本,执行`!pip install mindnlp==0.3.1`
!pip install mindnlp

2、模型简介

        BERT全称是来自变换器的双向编码器表征量(Bidirectional Encoder Representations from Transformers),它是Google于2018年末开发并发布的一种新型语言模型。与BERT模型相似的预训练语言模型例如问答、命名实体识别、自然语言推理、文本分类等在许多自然语言处理任务中发挥着重要作用。模型是基于Transformer中的Encoder并加上双向的结构,因此一定要熟练掌握Transformer的Encoder的结构。

        BERT模型的主要创新点都在pre-train方法上,即用了Masked Language Model和Next Sentence Prediction两种方法分别捕捉词语和句子级别的representation。

        在用Masked Language Model方法训练BERT的时候,随机把语料库中15%的单词做Mask操作。对于这15%的单词做Mask操作分为三种情况:80%的单词直接用[Mask]替换、10%的单词直接替换成另一个新的单词、10%的单词保持不变。

        因为涉及到Question Answering (QA) 和 Natural Language Inference (NLI)之类的任务,增加了Next Sentence Prediction预训练任务,目的是让模型理解两个句子之间的联系。与Masked Language Model任务相比,Next Sentence Prediction更简单些,训练的输入是句子A和B,B有一半的几率是A的下一句,输入这两个句子,BERT模型预测B是不是A的下一句。

        BERT预训练之后,会保存它的Embedding table和12层Transformer权重(BERT-BASE)或24层Transformer权重(BERT-LARGE)。使用预训练好的BERT模型可以对下游任务进行Fine-tuning,比如:文本分类、相似度判断、阅读理解等。

        对话情绪识别(Emotion Detection,简称EmoTect),专注于识别智能对话场景中用户的情绪,针对智能对话场景中的用户文本,自动判断该文本的情绪类别并给出相应的置信度,情绪类型分为积极、消极、中性。 对话情绪识别适用于聊天、客服等多个场景,能够帮助企业更好地把握对话质量、改善产品的用户交互体验,也能分析客服服务质量、降低人工质检成本。

下面以一个文本情感分类任务为例子来说明BERT模型的整个应用过程。

import os  # 导入操作系统相关的模块

import mindspore  # 导入MindSpore框架
from mindspore.dataset import text, GeneratorDataset, transforms  # 从MindSpore的数据集模块导入文本处理、生成器数据集和转换功能
from mindspore import nn, context  # 从MindSpore导入神经网络模块和上下文管理模块

from mindnlp._legacy.engine import Trainer, Evaluator  # 从MindNLP的引擎模块导入训练器和评估器
from mindnlp._legacy.engine.callbacks import CheckpointCallback, BestModelCallback  # 从MindNLP的引擎模块导入检查点回调和最佳模型回调
from mindnlp._legacy.metrics import Accuracy  # 从MindNLP的指标模块导入准确率度量

 

# prepare dataset
class SentimentDataset:  # 定义一个情感数据集类
    """Sentiment Dataset"""

    def __init__(self, path):  # 初始化函数,接受文件路径作为参数
        self.path = path  # 存储文件路径
        self._labels, self._text_a = [], []  # 初始化标签和文本列表
        self._load()  # 加载数据

    def _load(self):  # 私有方法,用于加载数据
        with open(self.path, "r", encoding="utf-8") as f:  # 打开文件
            dataset = f.read()  # 读取文件内容
        lines = dataset.split("\n")  # 按行分割文件内容
        for line in lines[1:-1]:  # 遍历除首行和末行的每一行
            label, text_a = line.split("\t")  # 按制表符分割标签和文本
            self._labels.append(int(label))  # 将标签转换为整数并添加到标签列表
            self._text_a.append(text_a)  # 将文本添加到文本列表

    def __getitem__(self, index):  # 获取指定索引的数据
        return self._labels[index], self._text_a[index]  # 返回对应索引的标签和文本

    def __len__(self):  # 获取数据集的长度
        return len(self._labels)  # 返回标签列表的长度

3、数据集

                这里提供一份已标注的、经过分词预处理的机器人聊天数据集,来自于百度飞桨团队。数据由两列组成,以制表符('\t')分隔,第一列是情绪分类的类别(0表示消极;1表示中性;2表示积极),第二列是以空格分词的中文文本,如下示例,文件为 utf8 编码。

label--text_a

0--谁骂人了?我从来不骂人,我骂的都不是人,你是人吗 ?

1--我有事等会儿就回来和你聊

2--我见到你很高兴谢谢你帮我

这部分主要包括数据集读取,数据格式转换,数据 Tokenize 处理和 pad 操作。

# download dataset
!wget https://baidu-nlp.bj.bcebos.com/emotion_detection-dataset-1.0.0.tar.gz -O emotion_detection.tar.gz
!tar xvf emotion_detection.tar.gz

 4、数据加载和数据预处理

4.1 加载

新建 process_dataset 函数用于数据加载和数据预处理,具体内容可见下面代码注释。

import numpy as np  # 导入NumPy库

def process_dataset(source, tokenizer, max_seq_len=64, batch_size=32, shuffle=True):
    # 定义处理数据集的函数,接受数据源、分词器、最大序列长度、批次大小和是否打乱数据作为参数
    is_ascend = mindspore.get_context('device_target') == 'Ascend'
    # 检查MindSpore的运行设备是否为Ascend

    column_names = ["label", "text_a"]  
    # 定义数据集的列名

    dataset = GeneratorDataset(source, column_names=column_names, shuffle=shuffle)
    # 创建生成器数据集,并指定列名和是否打乱数据

    # transforms
    type_cast_op = transforms.TypeCast(mindspore.int32)
    # 定义类型转换操作,将数据类型转换为int32

    def tokenize_and_pad(text):  
        # 定义分词和填充函数
        if is_ascend:  
            # 如果设备是Ascend
            tokenized = tokenizer(text, padding='max_length', truncation=True, max_length=max_seq_len)
            # 使用分词器对文本进行分词、填充和截断,最大长度为max_seq_len
        else:
            tokenized = tokenizer(text)
            # 如果不是Ascend设备,仅进行分词
        return tokenized['input_ids'], tokenized['attention_mask']
        # 返回分词后的输入ID和注意力掩码

    # map dataset
    dataset = dataset.map(operations=tokenize_and_pad, input_columns="text_a", output_columns=['input_ids', 'attention_mask'])
    # 将分词和填充操作映射到数据集的"text_a"列,输出列为'input_ids'和'attention_mask'
    dataset = dataset.map(operations=[type_cast_op], input_columns="label", output_columns='labels')
    # 将类型转换操作映射到数据集的"label"列,输出列为'labels'

    # batch dataset
    if is_ascend:
        # 如果设备是Ascend
        dataset = dataset.batch(batch_size)
        # 直接将数据集分成批次
    else:
        # 如果不是Ascend设备
        dataset = dataset.padded_batch(batch_size, pad_info={'input_ids': (None, tokenizer.pad_token_id),
                                                             'attention_mask': (None, 0)})
        # 使用指定的填充值将数据集分成批次

    return dataset
    # 返回处理后的数据集

4.2 处理

昇腾NPU环境下暂不支持动态Shape,数据预处理部分采用静态Shape处理:

from mindnlp.transformers import BertTokenizer  # 从MindNLP的transformers模块导入BertTokenizer
tokenizer = BertTokenizer.from_pretrained('bert-base-chinese')  # 从预训练模型'bert-base-chinese'中加载BertTokenizer分词器
tokenizer.pad_token_id  # 获取分词器中用于填充的token的ID

tokenizer.pad_token_id 返回 0,这意味着在使用这个分词器进行填充时,[PAD] 标记的ID是 0

dataset_train = process_dataset(SentimentDataset("data/train.tsv"), tokenizer)
# 使用训练数据集文件 "data/train.tsv" 创建 SentimentDataset 实例,并使用 process_dataset 函数处理数据集
# 得到处理后的训练数据集 dataset_train

dataset_val = process_dataset(SentimentDataset("data/dev.tsv"), tokenizer)
# 使用验证数据集文件 "data/dev.tsv" 创建 SentimentDataset 实例,并使用 process_dataset 函数处理数据集
# 得到处理后的验证数据集 dataset_val

dataset_test = process_dataset(SentimentDataset("data/test.tsv"), tokenizer, shuffle=False)
# 使用测试数据集文件 "data/test.tsv" 创建 SentimentDataset 实例,并使用 process_dataset 函数处理数据集
# 得到处理后的测试数据集 dataset_test
# 注意,这里设置了 shuffle=False,表示不打乱数据集

dataset_train.get_col_names()
# 获取处理后的训练数据集的列名

print(next(dataset_train.create_tuple_iterator()))
# 创建一个元组迭代器并获取数据集中的第一个批次,然后打印该批次的数据

 5、模型构建

        通过 BertForSequenceClassification 构建用于情感分类的 BERT 模型,加载预训练权重,设置情感三分类的超参数自动构建模型。后面对模型采用自动混合精度操作,提高训练的速度,然后实例化优化器,紧接着实例化评价指标,设置模型训练的权重保存策略,最后就是构建训练器,模型开始训练。

from mindnlp.transformers import BertForSequenceClassification, BertModel
# 从MindNLP的transformers模块导入BertForSequenceClassification和BertModel类

from mindnlp._legacy.amp import auto_mixed_precision
# 从MindNLP的_legacy.amp模块导入auto_mixed_precision函数

# set bert config and define parameters for training
# 设置BERT配置并定义训练参数

model = BertForSequenceClassification.from_pretrained('bert-base-chinese', num_labels=3)
# 从预训练模型 'bert-base-chinese' 中加载BERT用于序列分类的模型,设置分类标签数为3

model = auto_mixed_precision(model, 'O1')
# 使用混合精度训练,将模型转换为混合精度模式,优化训练速度和内存占用
# 'O1' 表示在混合精度训练中采用混合模式

optimizer = nn.Adam(model.trainable_params(), learning_rate=2e-5)
# 定义优化器,使用Adam优化算法,并设置模型可训练参数和学习率为2e-5

metric = Accuracy()
# 定义度量标准,用于评估模型性能,这里使用准确率(Accuracy)作为度量标准。

# 定义用于保存检查点的回调函数
ckpoint_cb = CheckpointCallback(save_path='checkpoint', ckpt_name='bert_emotect', epochs=1, keep_checkpoint_max=2)
# CheckpointCallback回调函数每1个epoch保存一次模型检查点(checkpoint),
# 保存路径为'checkpoint',检查点文件名为'bert_emotect',最多保留2个检查点。

best_model_cb = BestModelCallback(save_path='checkpoint', ckpt_name='bert_emotect_best', auto_load=True)
# BestModelCallback回调函数用于保存性能最好的模型,保存路径为'checkpoint',
# 最佳模型文件名为'bert_emotect_best',在训练开始时自动加载最好的模型(如果存在)。

trainer = Trainer(network=model, train_dataset=dataset_train,
                  eval_dataset=dataset_val, metrics=metric,
                  epochs=5, optimizer=optimizer, callbacks=[ckpoint_cb, best_model_cb])
# 初始化Trainer对象,用于训练和评估模型。
# 参数解释:
# - network=model:指定要训练的模型。
# - train_dataset=dataset_train:指定用于训练的数据集。
# - eval_dataset=dataset_val:指定用于评估的数据集。
# - metrics=metric:指定评估指标,这里使用的是准确率(Accuracy)。
# - epochs=5:指定训练的轮数(epochs)。
# - optimizer=optimizer:指定用于优化模型的优化器。
# - callbacks=[ckpoint_cb, best_model_cb]:指定回调函数列表,包括检查点回调和最佳模型回调。
%%time
# 开始训练
trainer.run(tgt_columns="labels")
# 这行代码开始训练模型,并计时训练过程的执行时间。
# 参数解释:
# - tgt_columns="labels":指定目标列(标签列)的名称,用于训练模型。

6、模型推理

遍历推理数据集,将结果与标签进行统一展示。

dataset_infer = SentimentDataset("data/infer.tsv")
from mindspore import Tensor
# 导入Tensor类

for label, text in dataset_infer:
    predict(text, label)
    # 遍历推理数据集dataset_infer,每次循环获取一对标签和文本。
    # 调用predict函数对文本进行预测,并输出预测结果和真实标签。

7、自定义推理数据集

自己输入推理数据,展示模型的泛化能力。

predict("都说的是啥玩意儿啊 都听不懂")

打卡

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1922320.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

用node.js写一个简单的图书管理界面——功能:添加,删除,修改数据

涉及到的模块: var fs require(‘fs’)——内置模块 var ejs require(‘ejs’)——第三方模块 var mysql require(‘mysql’)——第三方模块 var express require(‘express’)——第三方模块 var bodyParser require(‘body-parser’)——第三方中间件 需要…

华为HCIP Datacom H12-821 卷38

1.多选题 下面关于 BGP中的公认属性的描述,正确的是 A、公认必遵属性是所有BGP路由器都识别,且必须存在于Updata消息中心 B、BGP必须识别所有公认属性 C、公认属性分为公认必遵和可选过渡两种 D、公认任意属性是所有BGP造由器都可以识别&#xff0c…

217.贪心算法:加油站(力扣)

代码解决 class Solution { public:int canCompleteCircuit(vector<int>& gas, vector<int>& cost) {int curtotol 0; // 当前累积油量int tatol 0; // 总的油量减去总的花费油量int start 0; // 起始加油站的索引// 遍历所有加油站for (int i 0; i &…

【Android面试八股文】你说ARouter采用APT技术,那么谈一下你对APT技术的理解,还有那些框架是采用APT技术呀?JavaPoet

一、谈一下你对APT技术的理解 1.1 对APT技术的理解 APT(Annotation Processing Tool)是一种在编译期间处理注解的技术,它允许开发者在编译时扫描和处理 Java 源代码中的注解信息,生成额外的源代码、资源文件或者其他文件。以下是对APT技术的一些理解和应用场景: 工作原理…

期货量化交易客户端开源教学第九节——新用户注册

一、新用户注册界面设计&#xff1a; 注册时采用手机号注册&#xff0c;客户端发送新号注册申请由后台做审核&#xff0c;后台审核通过后向注册的手机号发送注册成功的消息。注册过的手机号不能再二次注册。 界面验证代码 private{ Private declarations }FVerf: AnsiString; …

【React Native】做了一个简约的雷达图组件

本文目录 【React Native】做了一个简约的雷达图组件获取组件实现思路用法示例简易用法自定义美化 结语 【React Native】做了一个简约的雷达图组件 最近在使用 react-native 中需要绘制雷达图&#xff0c;没有找到合适的小组件&#xff08;大的图表库未直接提供&#xff0c;需…

【活动预告】Apache IoTDB TsFile 智慧能源应用“上会”啦!

2024 年&#xff0c;站在中国数字经济产业升级和数据要素市场化建设的时代交汇点上&#xff0c;为进一步推动全球数据库产业进步&#xff0c;由中国通信标准化协会、大数据技术标准推进委员会主办的“2024 可信数据库发展大会”将于 2024 年 7 月 16-17 日&#xff0c;在北京朝…

Mac M1安装配置Hadoop+Flink SQL环境

Flink 1.18.1 Hadoop 3.4.0 一、准备工作 系统&#xff1a;Mac M1 (MacOS Sonoma 14.3.1) JDK&#xff1a;jdk1.8.0_381 &#xff08;注意&#xff1a;尽量一定要用JDK8&#xff0c;少用高版本&#xff09; Scala&#xff1a;2.12 JDK安装在本机的/opt/jdk1.8.0_381.jdk/C…

海外ASO:iOS与谷歌优化的相同点和区别

海外ASO是针对iOS的App Store和谷歌的Google Play这两个主要海外应用商店进行的优化过程&#xff0c;两个不同的平台需要采取不同的优化策略&#xff0c;以下是对iOS优化和谷歌优化的详细解析&#xff1a; 一、iOS优化&#xff08;App Store&#xff09; 1、关键词覆盖 选择关…

【公益案例展】中国电信安全大模型——锻造安全行业能量转化的高性能引擎...

‍ 电信安全公益案例 本项目案例由电信安全投递并参与数据猿与上海大数据联盟联合推出的 #榜样的力量# 《2024中国数智产业最具社会责任感企业》榜单/奖项评选。 大数据产业创新服务媒体 ——聚焦数据 改变商业 以GPT系列为代表的大模型技术&#xff0c;展现了人工智能技术与应…

Macos 远程登录 Ubuntu22.04 桌面

这里使用的桌面程序为 xfce, 而 gnome 桌面则测试失败。 1,安装 在ubuntu上&#xff0c;安装 vnc server与桌面程序xfce sudo apt install xfce4 xfce4-goodies tightvncserver 2&#xff0c;第一次启动和配置 $ tightvncserver :1 设置密码。 然后修改配置&#xff1a…

3d为什么删掉模型不能返回?---模大狮模型网

在展览3D模型设计行业中&#xff0c;设计师们经常面临一个关键问题&#xff1a;一旦删除了模型的某些部分&#xff0c;为什么很难或者无法恢复原始状态?这不仅是技术上的挑战&#xff0c;更是设计过程中需要深思熟虑的重要考量。本文将探讨这一问题的原因及其在实际工作中的影…

传输层协议之UDP

1、端口号 我们在应用层创建的套接字&#xff0c;是需要通过bind()接口绑定我们的IP地址与端口号的&#xff0c;这是因为数据从传输层向上交付到应用层时&#xff0c;需要用端口号来查找特定的服务进程。一般在网络通信时&#xff0c;用IP地址标识一台主机&#xff0c;用端口号…

查找PPT中某种字体的全部对应文字

本文章的目的是找到某种字体的文字&#xff0c;而不是替换某种字体的文字&#xff0c;也不是将某种字体全部替换为另外一种文字。 第一步&#xff1a;在PPT中按下ALTF11 出现以下窗口 第二步&#xff1a;点击插入->模块 第三步&#xff1a;将以下代码输入到窗体中 Sub F…

【备战秋招】——算法题目训练和总结day4

【备战秋招】——算法题目训练和总结day4&#x1f60e; 前言&#x1f64c;Fibonacci数列我的题解思路分享代码分享 单词搜索我的题解思路分享代码分享 杨辉三角我的题解思路分享代码分享 总结撒花&#x1f49e; &#x1f60e;博客昵称&#xff1a;博客小梦 &#x1f60a;最喜欢…

C++的缺省参数、函数重载和引用

缺省参数 缺省参数是声明或定义函数时为函数的参数指定⼀个缺省值。在调⽤该函数时&#xff0c;如果没有指定实参 则采⽤该形参的缺省值&#xff0c;否则使⽤指定的实参&#xff0c;缺省参数分为全缺省和半缺省参数。(有些地⽅把 缺省参数也叫默认参数)&#xff0c;要注意的是…

相对位移(鼠标)和绝对位移(触摸屏)

引言 EV_REL 表示相对位移(比如鼠标)&#xff0c; EV_ABS 表 示绝对位置(比如触摸屏) 为什么鼠标是相对位移&#xff0c;触摸屏绝对位置? 总结 在Linux操作系统中&#xff0c;输入设备如鼠标和触摸屏通过事件设备接口(Event Device Interface)来与系统交互。这个接口定义了一…

java《字符串基础篇》--字符串全套知识点总结及其配套习题逐语句分析(附带全套源代码)

一、前言 从今天开始就要学习字符串了&#xff0c;java中的字符串和其他编程语言的有些许不同&#xff0c;不过大家也不必担心&#xff0c;基本的原理都是相同的&#xff0c;只是代码的实现有些许差异&#xff0c;问题不大。对于字符串习题方面都是些最基础的题目&#xff0c;…

Matlab结合ChatGPT—如何计算置信区间?

​前面分享了带置信区间的折线图和带置信区间的折线散点图的绘图教程&#xff1a; 很多人表示&#xff0c;昆哥&#xff0c;图是很好看啦&#xff0c;但咱不会求置信区间啊&#xff0c;咋办嘞&#xff1f; 说实话&#xff0c;这种事情属于数据处理&#xff0c;一般都是在画图前…

Hadoop3:HDFS-通过配置黑白名单对集群进行扩缩容,并实现数据均衡(实用)

一、集群情况介绍 我的本地虚拟机&#xff0c;一共有三个节点&#xff0c;hadoop102、hadoop103、hadoop104 二、白名单 创建白名单文件whitelist&#xff0c;通过白名单的配置&#xff0c;只允许集群包含102和103两台机器可以存储数据&#xff0c;104无法存储数据。 需求 …