开发人员和数据科学家使用生成式AI和大语言模型（LLM）来查询大量文档和非结构化数据。开源LLM包括Dolly 2.0、EleutherAI Pythia、Meta AI LLaMa和StabilityLM等，它们都是尝试人工智能的起点，可以接受自然语言提示，生成总结式响应。

Fluree首席执行官兼联合创始人Brian Platz说：“作为知识和信息的基本来源，文本很重要，但目前还没有任何端到端解决方案可以驾驭处理文本的复杂性。虽然大多数组织处理结构化或半结构化数据、放到集中式数据平台上，但非结构化数据仍然被遗忘，未充分利用起来。”

如果贵组织和团队没有试用自然语言处理（NLP）功能，可能落后于所在行业的竞争对手。2023年专家NLP调查报告发现，77%的组织表示计划增加NLP方面的支出，54%的组织声称部署到生产环境的时间是衡量成功NLP项目的投资回报率的首要指标。

NLP的用例

如果您有大量非结构化数据和文本，那么一些最常见的业务需求包括如下：

• 通过识别名称、日期、地点和产品，提取实体；
• 模式识别，以发现货币及其他数量；
• 对业务术语、主题和分类分门别类；
• 情绪分析，包括积极的、负面的和讽刺的情绪；
• 总结文件要点；
• 机器语言翻译成其他语言；
• 将文本转换成机器可读的半结构化表示的依赖关系图。

有时候，将NLP功能捆绑到平台或应用程序中是可取的。比如说，LLM支持提问，AI搜索引擎支持搜索和推荐，聊天机器人支持交互。而其他时候，使用NLP工具提取信息以及丰富非结构化文档和文本是最佳选择。

不妨看看开发人员和数据科学家如今使用这三种流行的开源NLP工具，可用于针对非结构化文档执行发现操作，并开发生产就绪的NLP处理引擎。

1. 自然语言工具包

自然语言工具包（NLTK）于2001年发布，是较悠久且较流行的NLP Python库之一。NLTK在GitHub上拥有超过1.18万颗星，列有100多个经过训练的模型。

SPR的数据和分析主管Steven Devoe说：“我认为对于NLP来说，最重要的工具是自然语言工具包（NLTK），它采用了Apache 2.0许可证。在所有的数据科学项目中，处理和清理算法所使用的数据耗用了大量的时间和精力，这在自然语言处理中尤为如此。NLTK加快了这方面的许多工作，比如词干提取、词源化、标记、删除停止词以及跨多种书面语言嵌入词向量，从而使算法更容易解释文本。”

NLTK的优点源于其耐久性，它为刚接触NLP的开发人员提供了许多示例，比如这份初学者实践指南和这个更全面的概述。任何学习NLP技术的人都可能想先试一下这个库，因为它提供了简单的方法来尝试基本技术，比如标记化、词干提取和分块。

2.spaCy

spaCy是一个较新的库，2016年发布了版本1.0。spaCy支持72余种语言，已发布了其性能基准，它在GitHub上积累的星数超过了25000颗。

Domino数据实验室欧洲中东和非洲（EMEA）地区的数据科学主管Nikolay Manchev说：“spaCy是免费的开源Python库，提供了对大量文本进行高速自然语言处理的高级功能。使用spaCy，用户就可以构建模型和生产级应用程序，它们支持文档分析、聊天机器人功能和所有其他形式的文本分析。如今，spaCy框架是Python最流行的自然语言库之一，用于从文本中提取关键字、实体和知识等行业用例。”

spaCy教程显示了NLTK类似的功能，比如命名实体识别和词性标注。一个优点是，spaCy返回文档对象，并支持词向量，这可以为开发人员执行额外的NLP后数据处理和文本分析赋予更大的灵活性。

3.Spark NLP

如果您已经使用Apache Spark并配置了其基础设施，那么Spark NLP可能是开始尝试自然语言处理的更便捷途径之一。Spark NLP有几个安装选项，包括AWS、Azure Databricks和Docker。

John Snow Labs的首席技术官David Talby说：“Spark NLP是一个广泛使用的开源自然语言处理库，它使企业能够以最高的精度从自由文本文档中提取信息和答案。因此企业可以提取只存在于临床记录中的相关健康信息，识别社交媒体上的仇恨言论或虚假新闻，或概述法律协议和财经新闻。”

Spark NLP的不同之处在于其是适用于医疗、金融和法律领域的语言模型。这些商业产品配备了预先训练的模型，用于识别医疗领域的药物名称和剂量、金融实体识别（比如股票行情信息）以及公司名称和高管的法律知识图谱。

Talby表示，Spark NLP可以帮助组织尽量减少开发模型所需的前期训练。他说：“这个免费开源库附带超过11000个预训练的模型，外加重用、训练、调优和轻松扩展模型的功能。”

 

试用NLP的最佳实践

我在职业生涯的早期有幸监督过开发几个使用NLP功能构建的SaaS产品。第一个NLP是一个搜索报纸分类广告的SaaS平台，包括搜索汽车、工作和房地产。然后，我领导开发了用于从商业建筑文件（包括建筑规格和蓝图）中提取信息的NLP。

在一个新领域开始入手NLP时，我的建议如下：

• 从文档或文本的一个代表性的小例子入手。
• 确定目标最终用户角色以及提取的信息如何改进他们的工作流程。
• 指定所需的信息提取和目标准确性指标。
• 测试几种方法，使用速度和准确性指标进行基准衡量。
• 反复提高准确性，尤其是在增加文档的规模和广度时。
• 准备交付用于处理数据质量和处理异常的数据管理工具。

您可能会发现用于发现和试用新型文档的NLP工具将有助于界定需求。然后，扩大NLP技术的比较范围，涵盖开源方案和商业方案，因为构建和支持生产就绪的NLP数据管道可能成本高昂。随着LLM日益备受关注，对NLP功能方面投入不足会导致落后于竞争对手。幸运的是，您可以从本文介绍的其中一款开源工具入手，构建NLP数据管道，以满足自己的预算和需求。