大模型知识积累——幻觉

news2024/11/16 0:01:19

什么是大模型幻觉

在大语言模型的文本生成场景下,幻觉是指一本正经的胡说八道。逻辑连贯的自然表述中,有理论或者事实错误,捏造事实等问题。

幻觉问题的危害

LLM幻觉可能产生传播错误知识的后果。对于医疗应用中结果安全和可信AI尤为重要,幻觉影响了模型的可靠性和可信度。

幻觉一定有害吗

幻觉不在需要创造力的场景是有益处的,比如写电影剧本,图片创作,幻觉可以提升创作想象力,对于幻觉的容忍度取决于应用场景

为什么LLM会产生幻觉?

  • 源和目标的差异:当我们在存在源与目标差异的数据集上训练模型时,模型产生的文本可能与原始的内容产生偏差。这种差异,有时可能是在数据收集过程中不经意产生的 ,也有可能是故意的,比如攻击。
  • 无意识的源-目标差异:这种差异的原因可能有多种。例如数据可能事基于某种经验法则编制的,是的慕白哦信息并不总是完全依赖信息。e.g :如果两个不同网站获得 新闻时间作为目标和源,目标报道中可能包含源报道中没有的信息,从而导致二者的不同。
  • 有意识的源-目标差异:某些任务在本质上并不追求源和目标的严格一直,尤其事在需要多样性输出的情景下。这种人为的设置更容易导致模型幻觉
  • 训练数据重复:训练使用的数据如果存在大量重复,可能导致模型在生成时过于偏好某些高频词,权重增加,也可能导致偏好性幻觉
  • 数据噪声的影响:使用有噪声或者脏数据进行训练,这是导致幻觉的关键因素之一。
  • 解码过程中的随机性:增加输出多样性和生成能力扩展的解码策略,如top-k采样,top-p方法以及温度调节,有时会增加幻觉产生。着往往事因为模型在选择输出词时引入了随机性,没有始终选择最可能的词汇。
  • 模型的参数知识偏向:模型在处理信息时,可能更依赖其在pretrain阶段所积累的知识,忽视了实时提供的上下文信息(prompt),从而偏离了正确的输出路径。
  • 训练与实际应用中的解码差异:在一般训练场景下,模型会基于真实数据预测下一个词汇。但实际应用中。模型会根据先前生成内容进行后文预测。处理长文本的场景下更容易出现幻觉

幻觉类型和度量

幻觉不同类型

如何度量幻觉

何时最容易产生幻觉

幻觉解决方法

使用外部知识验证主动检测和缓解幻觉

事实核心采样

SelfCheckGPT

to be continued...

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1526940.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

研究揭示OpenAI GPT-3.5-Turbo模型参数量可能只有7B

加利福尼亚州,洛杉矶 - 一项由南加州大学计算机科学系的研究人员进行的新研究,通过创新的数学方法,对OpenAI公司的最新语言模型GPT-3.5-Turbo的内部结构进行了深入分析。研究团队通过一系列精心设计的“暴力提问”实验,成功地估计…

【全网最详细】ComfyUI下,Insightface安装指南-聚梦小课堂

🥮背景 ComfyUI下使用IP-adapter下的faceID模型的时候,大家可能会遇到如下错误: Error occurred when executing InsightFaceLoader: No module named insightface File "F:\ComfyUI-aki\execution.py", line 151, in recursive_…

【四】常用数据层技术高可用方案1

常用数据层技术高可用方案 简介 做架构设计我们都要面临系统的三高问题,系统的三高是指高并发、高性能、高可用,这些是系统架构设计中的重要指标。 高并发是指系统能够同时处理大量请求的能力。每次设计架构我们都需要根据业务体量来估算系统需要具备的并…

可视化场景(5):生产监控,比摄像头好用多了。

hello,我是贝格前端工场,本期分享可视化大屏在生产监控场景的应用,如需要定制,可以与我们联络,开始了。 实时监控 可视化大屏可以实时展示生产线上的各种关键指标和数据,如生产速度、设备状态、产量、质量…

PHP反序列化--引用

一、引用的理解&#xff1a; 引用就是给予一个变量一个恒定的别名。 int a 10; int b &a; a 20; cout<<a<<b<<endl; 输出结果 : a20、b20 二、靶场复现&#xff1a; <?php highlight_file(__FILE__); error_reporting(0); include("flag.p…

test测试类-变量学习

test测试类 作用&#xff1a;标记到类上成为测试类&#xff0c;标记到方法上成为测试方法 变量&#xff1a;测试类的变量&#xff0c;在测试类括号中应用 1、invocationCount变量 意思是这个方法应该被调用的次数。 在测试框架中&#xff0c;特别是当使用参数化测试或数据驱动…

最新WordPress网址导航设计师主题风格网站源码

内容目录 一、详细介绍二、效果展示1.部分代码2.效果图展示 三、学习资料下载 一、详细介绍 最新WordPress精品网址导航主题整站源码WAP端修复tab标签ajax加载模式会显示未审核的网址的bug小屏幕热搜采用水平滚动优化子主题支持添加文章分页 二、效果展示 1.部分代码 代码如…

SpringBoot(拦截器+文件上传)

文章目录 1.拦截器1.基本介绍2.应用实例1.去掉Thymeleaf案例中使用session进行权限验证的部分2.编写自定义拦截器 LoginInterceptor.java 实现HandlerInterceptor接口的三个方法3.注册拦截器1.第一种方式 配置类直接实现WebMvcConfigurer接口&#xff0c;重写addInterceptors方…

本地知识库的底层逻辑是什么?为什么企业需要它?

如果我们将企业比作一座繁华的城市&#xff0c;那么信息就像是城市的建筑&#xff0c;知识库则是城市的地图。知识库不仅可以帮我们存储整理和搜寻信息&#xff0c;而且还可以为我们提供信息的结构以便我们能够更好地理解和利用这些信息。今天&#xff0c;我们要探讨的就是这个…

一维坐标的移动(bfs)

在一个长度为n的坐标轴上&#xff0c;小S想从A点移动B点。 他的移动规则如下&#xff1a; 向前一步&#xff0c;坐标增加1。 向后一步&#xff0c;坐标减少1。 跳跃一步&#xff0c;使得坐标乘2。 小S不能移动到坐标小于0或大于n的位置。 小S想知道从A点移动到B点的最少步数是多…

Layui实现删除及修改后停留在当前页

1、功能概述&#xff1f; 我们在使用layui框架的table显示数据的时候&#xff0c;会经常的使用分页技术&#xff0c;这个我们期望能够期望修改数据能停留在当前页&#xff0c;或者删除数据的时候也能够停留在当前页&#xff0c;这样的用户体验会更好一些&#xff0c;但往往事与…

compile→错误: 不支持发行版本 17

错误: 不支持发行版本 17 具体错误描述如下&#xff1a; [ERROR] Failed to execute goal org.apache.maven.plugins:maven-compiler-plugin:3.11.0:compile (default-compile) on project big-event: Fatal error compiling: 错误: 不支持发行版本 17 -> [Help 1] [ERROR] …

被 AI 写的游戏代码砸中是什么感觉 | 10 分钟打造你的超级 AI 编码助手

近年来&#xff0c;人工智能得到了迅猛的发展&#xff0c;并在各行各业都得到了广泛应用。尤其是近两年来&#xff0c;AI开发工具逐渐成为开发者们的新宠&#xff0c;其中通义灵码&#xff08;阿里云发布的一款基于通义大模型的 AI 编码助手&#xff09;更是引发了无限可能性的…

后端工程师快速使用axios

文章目录 01.AJAX 概念和 axios 使用模板目标讲解代码解析案例前端后端结果截图 02.URL 查询参数模板目标讲解案例前端后端结果截图 03.常用请求方法和数据提交模板目标讲解案例前端后端结果截图 04.axios 错误处理模板目标讲解案例前端后端结果截图 01.AJAX 概念和 axios 使用…

手写简易操作系统(十)--中断概述

前情提要 我们还是总结一下前面做了什么 1、计算机启动&#xff0c;BIOS将MBR导入到内存&#xff0c;并跳转到相应位置执行 2、MBR将Loader导入到内存&#xff0c;并跳转执行 3、Loader中开启保护模式&#xff0c;准备好GDT表&#xff0c;开启内存分页&#xff0c;从此之后…

07|链(下):想学“育花”还是“插花”用RouterChain确定客户意图

任务设定 鲜花养护&#xff08;保持花的健康、如何浇水、施肥等&#xff09;鲜花装饰&#xff08;如何搭配花、如何装饰场地等&#xff09; 如果接到的是第一类问题&#xff0c;你要给ChatBot A指示&#xff1b;如果接到第二类的问题&#xff0c;你要给ChatBot B指示。 整体…

Window部署AgileConfig

AgileConfig&#xff1a;分布式配置中心 github&#xff1a;GitHub - dotnetcore/AgileConfig: 基于.NET Core开发的轻量级分布式配置中心 / .NET Core lightweight configuration server 下载部署包&#xff1a;Releases dotnetcore/AgileConfig GitHub 版本&#xff1a;…

MateBook D 14 SE版(2022版)使用体验

试用了一下华为的笔记本电脑&#xff0c;我觉得是出乎意料的好用&#xff0c;配置不算高&#xff0c;但是特别流程&#xff0c;而且自带了正版的office等软件&#xff0c;生产力杠杠的&#xff0c;外观也很不错&#xff0c;设计语言很高级&#xff0c;价格不贵&#xff0c;但是…

QGIS中天地图插件的安装与使用

概述 在QGIS中可添加xyz类型的切片为数据源&#xff0c;一般作为底图加载到地图上。在QGIS中添加xyz类型的切片的操作可参考QGIS CookBook。天地图提供的服务也是xyz类型的切片&#xff0c;但是为提高其加载速度&#xff0c;一般采用了t0-t7多个节点&#xff0c;在QGIS中添加x…

rocky9 编写一键安装mysql 的sh脚本

基本操作步骤 1、虚拟机最小化安装rocky9系统&#xff0c;安装后克隆一个系统&#xff1b;1个用来获取下载的rpm包&#xff0c;一个用来编写sh 测试脚本&#xff1b; 2、修改虚拟机的 yum配置文件&#xff0c;获取获取rpm程序 &#xff1a;启用缓存&#xff0c;并修改yum下载…