自定义Graph Component：1.2-其它Tokenizer具体实现

news2024/12/23 20:34:58

  本文主要介绍了Rasa中相关Tokenizer的具体实现，包括默认Tokenizer和第三方Tokenizer。前者包括JiebaTokenizer、MitieTokenizer、SpacyTokenizer和WhitespaceTokenizer，后者包括BertTokenizer和AnotherWhitespaceTokenizer。

一.JiebaTokenizer
  JiebaTokenizer类整体代码结构，如下所示：

  加载自定义字典代码，如下所示[3]：

@staticmethod
def _load_custom_dictionary(path: Text) -> None:
    """Load all the custom dictionaries stored in the path.  # 加载存储在路径中的所有自定义字典。
    More information about the dictionaries file format can be found in the documentation of jieba. https://github.com/fxsjy/jieba#load-dictionary
    """
    print("JiebaTokenizer._load_custom_dictionary()")
    import jieba

    jieba_userdicts = glob.glob(f"{path}/*")  # 获取路径下的所有文件。
    for jieba_userdict in jieba_userdicts:  # 遍历所有文件。
        logger.info(f"Loading Jieba User Dictionary at {jieba_userdict}")  # 加载结巴用户字典。
        jieba.load_userdict(jieba_userdict)  # 加载用户字典。

  实现分词的代码为tokenize()方法，如下所示：

def tokenize(self, message: Message, attribute: Text) -> List[Token]:
    """Tokenizes the text of the provided attribute of the incoming message."""  # 对传入消息的提供属性的文本进行tokenize。
    print("JiebaTokenizer.tokenize()")

    import jieba

    text = message.get(attribute)  # 获取消息的属性

    tokenized = jieba.tokenize(text)  # 对文本进行标记化
    tokens = [Token(word, start) for (word, start, end) in tokenized]  # 生成标记

    return self._apply_token_pattern(tokens)

  self._apply_token_pattern(tokens)数据类型为List[Token]。Token的数据类型为：

class Token:
    # 由将单个消息拆分为多个Token的Tokenizers使用
    def __init__(
        self,
        text: Text,
        start: int,
        end: Optional[int] = None,
        data: Optional[Dict[Text, Any]] = None,
        lemma: Optional[Text] = None,
    ) -> None:
        """创建一个Token
        Args:
            text: The token text.  # token文本
            start: The start index of the token within the entire message.  # token在整个消息中的起始索引
            end: The end index of the token within the entire message.  # token在整个消息中的结束索引
            data: Additional token data.  # 附加的token数据
            lemma: An optional lemmatized version of the token text.  # token文本的可选词形还原版本
        """
        self.text = text
        self.start = start
        self.end = end if end else start + len(text)
        self.data = data if data else {}
        self.lemma = lemma or text

  特别说明：JiebaTokenizer组件的is_trainable=True。


二.MitieTokenizer
  MitieTokenizer类整体代码结构，如下所示：

  核心代码tokenize()方法代码，如下所示：

def tokenize(self, message: Message, attribute: Text) -> List[Token]:
    """Tokenizes the text of the provided attribute of the incoming message."""  # 对传入消息的提供属性的文本进行tokenize
    import mitie

    text = message.get(attribute)

    encoded_sentence = text.encode(DEFAULT_ENCODING)
    tokenized = mitie.tokenize_with_offsets(encoded_sentence)
    tokens = [
        self._token_from_offset(token, offset, encoded_sentence)
        for token, offset in tokenized
    ]

    return self._apply_token_pattern(tokens)

  特别说明：mitie库在Windows上安装可能麻烦些。MitieTokenizer组件的is_trainable=False。


三.SpacyTokenizer
  首先安装Spacy类库和模型[4][5]，如下所示：

pip3 install -U spacy
python3 -m spacy download zh_core_web_sm

  SpacyTokenizer类整体代码结构，如下所示：

  核心代码tokenize()方法代码，如下所示：

def tokenize(self, message: Message, attribute: Text) -> List[Token]:
    """Tokenizes the text of the provided attribute of the incoming message."""  # 对传入消息的提供属性的文本进行tokenize
    doc = self._get_doc(message, attribute)  # doc是一个Doc对象
    if not doc:
        return []

    tokens = [
        Token(
            t.text, t.idx, lemma=t.lemma_, data={POS_TAG_KEY: self._tag_of_token(t)}
        )
        for t in doc
        if t.text and t.text.strip()
    ]

  特别说明：SpacyTokenizer组件的is_trainable=False。即SpacyTokenizer只有运行组件run_SpacyTokenizer0，没有训练组件。如下所示：


四.WhitespaceTokenizer
  WhitespaceTokenizer主要是针对英文的，不可用于中文。WhitespaceTokenizer类整体代码结构，如下所示：

  其中，predict_schema和train_schema，如下所示：

  rasa shell nlu --debug结果，如下所示：

  特别说明：WhitespaceTokenizer组件的is_trainable=False。


五.BertTokenizer
  rasa shell nlu --debug结果，如下所示：

  BertTokenizer代码具体实现，如下所示：
"""
https://github.com/daiyizheng/rasa-chinese-plus/blob/master/rasa_chinese_plus/nlu/tokenizers/bert_tokenizer.py
"""
from typing import List, Text, Dict, Any
from rasa.engine.recipes.default_recipe import DefaultV1Recipe
from rasa.shared.nlu.training_data.message import Message
from transformers import AutoTokenizer
from rasa.nlu.tokenizers.tokenizer import Tokenizer, Token


@DefaultV1Recipe.register(
    DefaultV1Recipe.ComponentType.MESSAGE_TOKENIZER, is_trainable=False
)
class BertTokenizer(Tokenizer):
    def __init__(self, config: Dict[Text, Any] = None) -> None:
        """
        :param config: {"pretrained_model_name_or_path":"", "cache_dir":"", "use_fast":""}
        """
        super().__init__(config)
        self.tokenizer = AutoTokenizer.from_pretrained(
            config["pretrained_model_name_or_path"],  # 指定预训练模型的名称或路径
            cache_dir=config.get("cache_dir"),  # 指定缓存目录
            use_fast=True if config.get("use_fast") else False  # 是否使用快速模式
        )

    @classmethod
    def required_packages(cls) -> List[Text]:
        return ["transformers"]  # 指定依赖的包

    @staticmethod
    def get_default_config() -> Dict[Text, Any]:
        """The component's default config (see parent class for full docstring)."""
        return {
            # Flag to check whether to split intents
            "intent_tokenization_flag": False,
            # Symbol on which intent should be split
            "intent_split_symbol": "_",
            # Regular expression to detect tokens
            "token_pattern": None,
            # Symbol on which prefix should be split
            "prefix_separator_symbol": None,
        }

    def tokenize(self, message: Message, attribute: Text) -> List[Token]:
        text = message.get(attribute)  # 获取文本
        encoded_input = self.tokenizer(text, return_offsets_mapping=True, add_special_tokens=False)  # 编码文本
        token_position_pair = zip(encoded_input.tokens(), encoded_input["offset_mapping"])  # 将编码后的文本和偏移量映射成一个元组
        tokens = [Token(text=token_text, start=position[0], end=position[1]) for token_text, position in token_position_pair]  # 将元组转换成Token对象

        return self._apply_token_pattern(tokens)

  特别说明：BertTokenizer组件的is_trainable=False。


六.AnotherWhitespaceTokenizer
  AnotherWhitespaceTokenizer代码具体实现，如下所示：

from __future__ import annotations
from typing import Any, Dict, List, Optional, Text

from rasa.engine.graph import ExecutionContext
from rasa.engine.recipes.default_recipe import DefaultV1Recipe
from rasa.engine.storage.resource import Resource
from rasa.engine.storage.storage import ModelStorage
from rasa.nlu.tokenizers.tokenizer import Token, Tokenizer
from rasa.shared.nlu.training_data.message import Message


@DefaultV1Recipe.register(
    DefaultV1Recipe.ComponentType.MESSAGE_TOKENIZER, is_trainable=False
)
class AnotherWhitespaceTokenizer(Tokenizer):
    """Creates features for entity extraction."""
    @staticmethod
    def not_supported_languages() -> Optional[List[Text]]:
        """The languages that are not supported."""
        return ["zh", "ja", "th"]

    @staticmethod
    def get_default_config() -> Dict[Text, Any]:
        """Returns the component's default config."""
        return {
            # This *must* be added due to the parent class.
            "intent_tokenization_flag": False,
            # This *must* be added due to the parent class.
            "intent_split_symbol": "_",
            # This is a, somewhat silly, config that we pass
            "only_alphanum": True,
        }

    def __init__(self, config: Dict[Text, Any]) -> None:
        """Initialize the tokenizer."""
        super().__init__(config)
        self.only_alphanum = config["only_alphanum"]

    def parse_string(self, s):
        if self.only_alphanum:
            return "".join([c for c in s if ((c == " ") or str.isalnum(c))])
        return s

    @classmethod
    def create(
        cls,
        config: Dict[Text, Any],
        model_storage: ModelStorage,
        resource: Resource,
        execution_context: ExecutionContext,
    ) -> AnotherWhitespaceTokenizer:
        return cls(config)

    def tokenize(self, message: Message, attribute: Text) -> List[Token]:
        text = self.parse_string(message.get(attribute))
        words = [w for w in text.split(" ") if w]

        # if we removed everything like smiles `:)`, use the whole text as 1 token
        if not words:
            words = [text]

        # the ._convert_words_to_tokens() method is from the parent class.
        tokens = self._convert_words_to_tokens(words, text)

        return self._apply_token_pattern(tokens)

  特别说明：AnotherWhitespaceTokenizer组件的is_trainable=False。


参考文献：
[1]自定义Graph Component：1.1-JiebaTokenizer具体实现：https://mp.weixin.qq.com/s/awGiGn3uJaNcvJBpk4okCA
[2]https://github.com/RasaHQ/rasa
[3]https://github.com/fxsjy/jieba#load-dictionary
[4]spaCy GitHub：https://github.com/explosion/spaCy
[5]spaCy官网：https://spacy.io/
[6]https://github.com/daiyizheng/rasa-chinese-plus/blob/master/rasa_chinese_plus/nlu/tokenizers/bert_tokenizer.py

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1205797.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

IDEA 2022创建Spring Boot项目

IDEA 2022创建Spring Boot项目

首先点击New Project 接下来： (1). 我们点击Spring Initializr来创建。 (2). 填写项目名称 (3). 选择路径 (4). 选择JDK------这里笔者选用jdk17。 (5). java选择对应版本即可。 (6). 其余选项如无特殊需求保持默认即可。 然后点击Next。 稍等一会&#xff0c…
阅读更多...
RK3568平台开发系列讲解（Linux系统篇）Linux内核定时器详解

RK3568平台开发系列讲解（Linux系统篇）Linux内核定时器详解

🚀返回专栏总目录 文章目录 一、系统节拍率二、内核定时器简介三、内核定时器API四、延时函数沉淀、分享、成长，让自己和他人都能有所收获！😄 📢 Linux 内核中有大量的函数需要时间管理，比如周期性的调度程序、延时程序、对于我们驱动编写者来说最常用的定时器。硬件定…
阅读更多...
敏感数据是什么？包含哪些？如何保障安全？

敏感数据是什么？包含哪些？如何保障安全？

最近看到不少小伙伴在问，敏感数据是什么？包含哪些？如何保障安全？这里我们小编就给大家一一解答一下，仅供参考哦！ 敏感数据是什么？ 敏感数据，是指泄漏后可能会给社会或个人带来严重危…
阅读更多...
2023亚太杯数学建模ABC题思路汇总分析

2023亚太杯数学建模ABC题思路汇总分析

文章目录 0 赛题思路1 竞赛信息2 竞赛时间3 建模常见问题类型3.1 分类问题3.2 优化问题3.3 预测问题3.4 评价问题 4 建模资料5 最后 0 赛题思路 （赛题出来以后第一时间在CSDN分享） https://blog.csdn.net/dc_sinor?typeblog 1 竞赛信息 2023年第十三…
阅读更多...
新能源汽车三电系统上的VDA接口在操作空间有限时如何快速密封与连接

新能源汽车三电系统上的VDA接口在操作空间有限时如何快速密封与连接

针对新能源汽车三电系统上的VDA接口的快速密封与连接，格雷希尔GripSeal快速接头有其对应的G90系列，但随着现在有些新能源汽车体型越来越小，其三电系统的体积也越来越小，相对应的它们各个接口之间的距离也就越来越近，其…
阅读更多...
Find My冲浪板|苹果Find My技术与冲浪板结合，智能防丢，全球定位

Find My冲浪板|苹果Find My技术与冲浪板结合，智能防丢，全球定位

冲浪板就是冲浪运动中必不可少的器材之一。冲浪板是一块能够承受波浪抛掷的器材，通常由泡沫材质制成，也有一些采用其他材质制成的高档板。冲浪板不仅能够帮助人们在波浪中快速滑行，还能提供重心支撑和掌控波浪的稳定性。电动冲浪板是一种新型…
阅读更多...
Linux---（六）自动化构建工具 make/Makefile

Linux---（六）自动化构建工具 make/Makefile

文章目录 一、make/Makefile二、快速查看（1）建立Makefile文件（2）编辑Makefile文件（3）解释（4）效果展示 三、背后的基本知识、原理（1）如何清理对应的临时文件呢…
阅读更多...
SpringbootSecurity登陆验证(前后端分离)

SpringbootSecurity登陆验证(前后端分离)

一、什么是jwt JWT全称是JSON Web Token，如果从字面上理解感觉是基于JSON格式用于网络传输的令牌。实际上，JWT是一种紧凑的Claims声明格式，旨在用于空间受限的环境进行传输，常见的场景如HTTP授权请求头参数和URI查询参数。JWT会把…
阅读更多...
基于若依的ruoyi-nbcio流程管理系统增加流程设计器支持自定义表单的选择与处理

基于若依的ruoyi-nbcio流程管理系统增加流程设计器支持自定义表单的选择与处理

更多ruoyi-nbcio功能请看演示系统 gitee源代码地址 前后端代码： https://gitee.com/nbacheng/ruoyi-nbcio 演示地址：RuoYi-Nbcio后台管理系统 因为之前不支持在流程设计器进行自定义业务表单的关联选择，所以这部分实现这个。 1、前端 对…
阅读更多...
使用jedis连接虚拟机redis报错 Failed to connect to any host resolved for DNS name

使用jedis连接虚拟机redis报错 Failed to connect to any host resolved for DNS name

问题描述： 导致该问题发生的原因可能是虚拟机没有开放6379端口。 解决方案： 首先检查redis.conf的bing配置是否被注释了，如果没有将其注释 第二步，将保护模式设置为no 第三步，接下来可以使用命令查看6379端口是否…
阅读更多...
聚观早报 |京东11.11公布成绩单；2023数字科技生态大会

聚观早报 |京东11.11公布成绩单；2023数字科技生态大会

【聚观365】11月13日消息 京东11.11公布成绩单 2023数字科技生态大会 TikTok深受英国中小企业青睐 周鸿祎称大模型2年内可“进”智能汽车 双11全国快递业务量达 6.39 亿件 京东11.11公布成绩单 京东11.11公布成绩单：截至11月11日晚23:59，2023年京东…
阅读更多...
ASD光谱仪使用

ASD光谱仪使用

ASD光谱仪使用 光谱仪机器和电脑用来实时查看光谱曲线，以及控制光谱仪采集的时间、条数等各项参数。 在采集时，需要面向太阳，将待测的对象完全暴露于阳光下（下图站位是错误的挡住光线了）。探头放置于对象正上方50cm处…
阅读更多...
Linux进程之通过系统调用创建进程[fork()函数]

Linux进程之通过系统调用创建进程[fork()函数]

文章目录 0.PID是什么?1.通过代码创建子进程--fork1.1fork()初识1.2通过系统调用创建进程1.3perror()函数的了解 2.fork()的进一步了解2.1通过代码了解2.2查看进程的指令 0.PID是什么? 进程PID（Process ID）是操作系统为每个正在运行的进程分配的唯一标…
阅读更多...
jquery的$

jquery的$

jQuery是什么 jQuery是一个快速、简洁的JavaScript框架，jQuery设计的宗旨是“write Less，Do More”。 jQuery的$ 使用过jQuery的应该都知道jQuery的$，看到源码中的这一段就能知道相当于jquery的简写， jquery有两种用法&#x…
阅读更多...
Python 日志记录器logging 百科全书 之 日志回滚

Python 日志记录器logging 百科全书 之 日志回滚

Python 日志记录器logging 百科全书 之 日志回滚 前言 在之前的文章中，我们学习了关于Python日志记录的基础配置。 本文将深入探讨Python中的日志回滚机制，这是一种高效管理日志文件的方法，特别适用于长时间运行或高流量的应用。 知识点&…
阅读更多...
【OS】操作系统课程笔记 第七章 内存管理

【OS】操作系统课程笔记 第七章 内存管理

目录 7.1 内存管理的功能 7.1.1 内存分配 7.1.2 地址转换 1. 空间的概念 2. 地址转换 7.1.3 存储保护 7.1.4 存储共享 7.1.5 存储扩充 7.2 程序的链接和加载 7.2.1 程序的链接 链接的分类 7.2.2 程序的加载 1. 加载器的功能 2. 装入方式分类 7.3 连续分配方式 7.…
阅读更多...
CentOS 7镜像下载；VMware安装CentOS 7；解决新安装的虚拟机没有网络，无法ping通网络的问题

CentOS 7镜像下载；VMware安装CentOS 7；解决新安装的虚拟机没有网络，无法ping通网络的问题

CentOS 7镜像下载；VMware安装CentOS 8.5；解决新安装的虚拟机没有网络，无法ping通网络的问题 CentOS 8.5镜像下载VMware安装CentOS 7解决新安装的虚拟机没有网络，无法ping通网络的问题写入配置文件 CentOS 8.5镜像下载 阿里提供的…
阅读更多...
排序 算法（第4版）

排序 算法（第4版）

本博客参考算法（第4版）：算法（第4版） - LeetBook - 力扣（LeetCode）全球极客挚爱的技术成长平台 本文用Java实现相关算法。 我们关注的主要对象是重新排列数组元素的算法，其中每个元素…
阅读更多...
NSSCTF题库——web

NSSCTF题库——web

[SWPUCTF 2021 新生赛]gift_F12 f12后ctrlf找到flag [SWPUCTF 2021 新生赛]jicao——json_decode() 加密后的格式 $json {"a":"php","b":"mysql","c":3}; json必须双引号传输 构造：GET里json{"x"…
阅读更多...
【JUC】三、集合的线程安全

【JUC】三、集合的线程安全

文章目录 1、ArrayList集合线程安全问题分析2、解决方式一：Vector或synchronizedList( )3、解决方式二：CopyOnWriteArrayList 写时复制4、HashSet集合线程不安全的分析与解决5、HashMap集合线程不安全的分析与解决 1、ArrayList集合线程安全问题分析 对…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023