行业落地分享:大模型 RAG 难点与创新应用

news2024/9/21 21:23:16

最近这一两周不少互联网公司都已经开始秋招面试了

不同以往的是,当前职场环境已不再是那个双向奔赴时代了。求职者在变多,HC 在变少,岗位要求还更高了。

最近,我们又陆续整理了很多大厂的面试题,帮助一些球友解惑答疑,分享技术面试中的那些弯弯绕绕。

《AIGC 面试宝典》圈粉无数!
《大模型面试宝典》(2024版) 发布!

喜欢本文记得收藏、关注、点赞。更多实战和面试交流,文末加入我们星球


与常规的系统化内容分享不同,我们今天将聚焦于那些在实践中发现的难点和创新应用。我们相信,这些真实的案例和经验,能够给大家带来不同角度的思考和启发。

图片

难点:文件解析

在落地实施中,我们遇到的第一个难点是文件解析。我们从今年年初开始,在许多企业的落地实施中发现,尽管我们自信能够解析大多数文件,但在实践中,我们遇到了很多我们甚至从未见过的文件类型。

图片

在文件解析的挑战中,老旧文件的解析尤其突出。我们发现,尽管市面上的许多软件声称支持DOC格式,但它们往往不支持DOCX,这在国企和一些特定场景中非常常见。我们遇到了一些不完整的文件,这些文件的解析对我们来说是一个必须大力解决的问题。

难点:PDF 表格解析

另一个挑战是PDF表格的解析,这在金融行业、标准化工业领域等是非常刚需的。表格解析的难点在于,它需要精确地识别和处理表格数据,这对于自动化处理和数据分析至关重要。

图片

OCR(光学字符识别)技术在处理纯图片文件时相对简单,但当图片与文字混合时,判断何时启动OCR成为一个挑战。我们需要开发智能的算法来识别何时需要启动OCR,以确保文本的准确识别。

难点:结构化数据融合

在索引过程中,我们不仅依靠大模型的能力,还进行了一系列的其他工作,以提高检索的准确性和效率。这包括:

图片

图片

  • 元数据处理:在上传文件的同时,我们自动处理文件的元数据,包括文件名称、属性信息和内容中的标题等,以提取实体和关系。

  • 意图识别:我们使用基于BERT的NER模型来理解用户的查询意图,并进行拆分和解析,以提高检索的准确性。

在提高检索和问答系统的效果方面,我们采用了Rerank技术,这是一种在多个环节中都能显著提升结果相关性和准确性的技术。

图片

  • HNSW和交叉编码验证:我们使用HNSW(高维空间中的最近邻搜索)和交叉编码验证来提高检索的精度。

  • 密度函数:通过使用密度函数,我们能够舍弃那些相关度较低的结果,从而提高检索质量。

在问答系统中,每个答案都会默认显示相关的原文。但是,原文的显示并不一定与答案的匹配度完全一致。为了解决这个问题,我们在大模型给出最终答案后,再次使用Rerank技术进行比对,确保显示的原文与答案高度匹配。

场景 1:金融研报的挑战与创新

在金融行业,制作研报是一项耗时且复杂的过程。传统上,投资机构会派遣团队,花费数周时间研读数百份文件,以形成对一家公司的深入分析。这个过程不仅耗时,而且需要大量的人力资源。

图片

  • 快速处理大量文件:用户可以将数百份文件一次性导入TorchV Assistant。

  • 直接提问,获得最佳答案:通过自然语言处理技术,用户可以直接向系统提问,如“这家公司最近3年的复合增长率是多少?”系统将从文件中提取最准确的答案。

  • 原文比对:系统提供原文比对功能,确保用户可以验证答案的准确性。

  • 内容快速生成:用户可以将答案快速整合到编辑器中,系统还能帮助生成图表,极大地加快了研报的草稿制作。

场景 2:零售行业的挑战与创新

在零售行业,面对成千上万的产品和复杂的客户需求,如何快速、准确地为客户提供满意的服务是一个巨大的挑战。

图片

TorchV Doraemon,就像客户身边的哆啦A梦,能够快速理解复杂的客户需求,并从成千上万的产品中找到最合适的解决方案。以下是我们如何通过TorchV Doraemon改变游戏规则:

  • 快速理解客户需求:通过结合RAG(Retrieval-Augmented Generation)和Function-call,TorchV Doraemon能够快速理解产品的说明书和数据库,为客户提供最合适的产品推荐。

  • 简化导购流程:对于导购员来说,TorchV Doraemon能够识别出最合适的几款产品,大大简化了导购流程。

  • 多样的交互形式:TorchV Doraemon不仅仅支持问答形式,还可以通过图片和其他互动方式与客户进行交流。

场景 3:规则审批的挑战与创新

随着业务量的增加,合同和项目审批的工作量也随之增加。传统的审批流程往往耗时且效率低下,特别是在法务审核合同时,反复的修改和审核过程会浪费大量时间。

图片

TorchV Comparison,基于规则和上下文的审批系统,能够帮助企业快速完成合同和项目的预审工作。以下是我们如何通过TorchV Comparison改变游戏规则:

  • 合同预审:业务部门可以直接提交合同,系统会根据预设的规则(如必填项、歧义词分析、权利义务对等、合法合规等)进行自动审核。

  • 项目预审:对于项目评审,系统也可以根据每个项目的特定规则进行预审,大大提高了审批的准确性和效率。

  • 元数据的利用:系统利用元数据提高审批的精确度,确保审批结果更加可靠。

实践中的挑战与思考

  1. 功能小而精:我们追求的是小而精的功能,而非大而全。这意味着我们需要明确目标,量化指标,例如提高销售量、缩短合同评审时间等,这些都是可以明确衡量的成果。

  2. 高质量:在技术实现上,我们需要确保高质量。这涉及到在当前技术环境下,对客户需求的合理评估,以及对技术能力的准确把握。

  3. 高价值:我们关注的是为客户带来的实际价值。如果一个功能背后的目标具有高价值,那么这将是我们的首要任务。

图片

在实际的落地过程中,我们发现这个过程并不像想象中的那么“性感”,而是充满了挑战。从与客户交流确认方案,到POC(Proof of Concept,概念验证),再到部署实施,以及后续的培训和陪跑,这是一个漫长而复杂的过程。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2153344.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

网络信息传输安全

目录 机密性-加密 对称加密 非对称加密 身份认证 摘要算法和数据完整性 数字签名 签名验签 数字证书 申请数字证书所需信息 数字证书的生成 数字证书的应用 https协议 数字证书的申请 数据在网络中传输过程中,怎么做到 数据没有被篡改?hash算…

【Python深度学习系列】基于Flask将深度学习模型部署到web应用上(完整案例)

这是我的第356篇原创文章。 一、引言 使用 Flask 在 10 分钟内将您自己训练的模型或预训练的模型(VGG、ResNet、Densenet)部署到网络应用程序中。以图像分类模型为例,本地直接部署和本地使用docker部署两种方式实现。 二、实现过程 2.1 准备…

扎克伯格的未来愿景:用智能眼镜引领数字社交新时代

Meta Connect 2024大会前夕,创始人马克扎克伯格的90分钟播客访谈,为我们描绘了Meta未来的蓝图。这场访谈,不仅是大会的热身,更是对科技未来的一次深刻洞察。 人工智能 - Ai工具集 - 未来办公人的智能办公生活导航网 扎克伯格的未…

实操学习——题目的管理

实操学习——题目的管理 一、基础配置二、权限控制三、分页1. PageNumberPagination分页器2. LimitOffsetPagination分页器3.总结 四、题目操作模块1. 考试2. 题目练习——顺序刷题3. 模拟考试 补充:前端调用接口写法 本文主要讲解题目的管理案例 1.题目的基本增删改…

FastAPI 的隐藏宝石:自动生成 TypeScript 客户端

在现代 Web 开发中,前后端分离已成为标准做法。这种架构允许前端和后端独立开发和扩展,但同时也带来了如何高效交互的问题。FastAPI,作为一个新兴的 Python Web 框架,提供了一个优雅的解决方案:自动生成客户端代码。本…

必知!5大AI生成模型

大数据文摘授权转载自数据分析及应用 随着Sora、diffusion等模型的大热,深度生成模型再次成为了研究的焦点。这类模型,作为强大的机器学习工具,能够从输入数据中学习其潜在的分布,并生成与训练数据高度相似的新样本。其应用领域广…

【IDEA】使用IDEA连接MySQL数据库并自动生成MySQL的建表SQL语句

前言: 在软件开发过程中,数据库的设计与实现是至关重要的一环。IntelliJ IDEA作为一款强大的集成开发环境(IDE),提供了丰富的数据库工具,使得连接MySQL数据库并自动生成建表SQL语句变得简单快捷。本文将详细…

ansible远程自动化运维、常用模块详解

一、ansible是基于python开发的配置管理和应用部署工具;也是自动化运维的重要工具;可以批量配置、部署、管理上千台主机;只需要在一台主机配置ansible就可以完成其它主机的操作。 1.操作模式: 模块化操作,命令行执行…

竹云赋能“中国·贵州”全省统一移动应用平台建设,打造政务服务“新引擎”

近日,2024中国国际大数据产业博览会在贵州贵阳圆满落幕。会上,由贵州省政府办公厅牵头建设的“中国贵州”全省统一移动应用平台正式发布,聚焦民生办事、政务公开、政民互动、扁平高效、数据赋能五大模块,旨在打造公平普惠的服务平…

解决Python Debug没有反应的问题

应该有伙伴和我一样,用的2024版本的VS code,但是用到的python解释器是3.6.x,或者是更旧版本的Python. 想要进行Debug就会在扩展里面安装 一般安装就会安装最新版本,但是debug时又没有反应,其主要原因是Python的版本与…

基于Springboot的助学金管理系统设计与实现

文未可获取一份本项目的java源码和数据库参考。 一、研究背景 利用计算机来实现助学金管理系统,已经成为一种趋势,相比传统的手工管理方式,利用软件进行助学金管理系统,有着执行快,可行性高、容量存储大,…

前端入门:HTML+CSS

引言: 前端三大件:HTML、CSS、JS,每一个部分都很重要,我听过比较形象的比喻就是HTML(HYPER TEXT MARKUP LANGUAGE)相当于骨架,而CSS就是装饰渲染,JS则是动作功能实现。 之前的文章我已经讲过HTML,这篇文章我将讲解HTML和CSS的案例。 网页开发: 我开发出来的网页如…

DAMODEL——Llama3.1的部署与使用指南

Llama3.1的部署与使用指南 在自然语言处理(NLP)领域,大模型(LLM)是基于深度学习算法训练而成的重要工具,应用范围包括自然语言理解和生成。随着技术的发展,开源的LLM不断涌现,涵盖了…

数字人直播带货火了,只要有了这个工具,就可以打造数字人,建议新手小白赶紧尝试!

经济下行,普通人应该尽早认清一个事实,没有一技之长,没有核心竞争力,即便是打工皇帝,年入百万也只是浮云。 一定要保证主业的稳定,再探索新的机会,要多从”1-10",而不是反复”…

初中数学证明集锦之三角形内角和

导言 非常喜欢数学那套,由简单到复杂,逐层递进的证明之美。 既证了,而且明了 😃 让人不得不信服! 由人教版教材看到的三角形内角和180度的证明法,觉得现在课本不单传播了知识,而且点睛数学之…

简单多状态dp第二弹 leetcode -删除并获得点数 -粉刷房子

740. 删除并获得点数 删除并获得点数 分析: 使用动态规划解决 这道题依旧是 打家劫舍I 问题的变型。 我们注意到题目描述,选择 x 数字的时候, x - 1 与 x 1 是不能被选择的。像不像 打家劫舍 问题中,选择 i 位置的金额之后,就不…

【网络】高级IO——LT和ET

在上一篇的学习中,我们已经简单的使用了epoll的三个接口,但是仅仅了解那些东西是完全不够的!!接下来我们将更深入的学习epoll 1.epoll的两种工作模式——LT和ET 下面来举一个例子帮助大家理解ET和LT模式的区别(送快递…

【HTTP】请求“报头”,Referer 和 Cookie

Referer 描述了当前这个页面是从哪里来的(从哪个页面跳转过来的) 浏览器中,直接输入 URL/点击收藏夹打开的网页,此时是没有 referer。当你在 sogou 页面进行搜索时,新进入的网页就会有 referer 有一个非常典型的用…

深度学习-图像处理篇1.3pytorch神经网络例子

batch:一批图像数量 官方例子 #model import torch.nn as nn import torch.nn.functional as Fclass LeNet(nn.Module):def __init__(self):super(LeNet, self).__init__()self.conv1 nn.Conv2d(3,16,5)self.pool1 nn.MaxPool2d(2, 2)self.conv2 nn.Conv2d(16, 32, 5)self.…

Python 找到给定点集的简单闭合路径(Find Simple Closed Path for a given set of points)

给定一组点,将这些点连接起来而不相交 例子: 输入:points[] {(0, 3), (1, 1), (2, 2), (4, 4), (0, 0), (1, 2), (3, 1}, {3, 3}}; 输出:按以下顺序连接点将 不造成任何交叉 {(0, 0), (3, …