Segment any Text：优质文本分割是高质量RAG的必由之路

news2024/11/24 6:02:51

AI应用开发相关目录

本专栏包括AI应用开发相关内容分享，包括不限于AI算法部署实施细节、AI应用后端分析服务相关概念及开发技巧、AI应用后端应用服务相关概念及开发技巧、AI应用前端实现路径及开发技巧
适用于具备一定算法及Python使用基础的人群

文本自动切句是个很有趣且很重要的场景，传统的句子分割方法依赖于基于规则或统计的方法，这些方法通常需要依赖于标点符号等词汇特征，例如早期方法使用决策树来确定文本中的每个标点符号是否表示句子边界，这基于标点周围的语言特征。然而，这些方法在面对缺少标点、新领域适应性差、效率不高等问题时表现不佳。

huggingface：https://huggingface.co/segment-any-text

这是一种用于改善自然语言处理（NLP）系统中文本句子分割的方法，据Segment any Text名称看，这是一个能够分割任意段落自然语言文本的工作。

在这里插入图片描述
其算法主要分类基础模型和监督混合模型（SM）两类。基础 SaT（分割任何文本）模型，用于句子和段落分割。可通过 LoRA 轻松适应；SM则在不同风格和损坏的监督混合数据上进一步训练。
每种模型后边的数字表示几个transfomer层：
在这里插入图片描述

在这里插入图片描述
通过示例可以发现，其各种文本，是包括了无标点无格式文本、符号混乱无格式文本、语义混乱无格式文本。
可推测模型具备在文本分割需求下的语言理解能力，该工作大大增强了文本分割的适用面。

但缺陷是：
在这里插入图片描述
模型不小。
此次分享，各位按需使用。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1865596.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！