如下图,我们使用用 gpt-4-turbo 模型为例,问9.11 与 9.9 哪个大,并让他一步一步给出分析步骤。你会发现,它开始了胡说八道,这就是“大模型幻觉” 。
那么问题来了,为什么会出现这种结果?幻觉从何而来?
-
理解大预言模型的原理,主要就是 tokenizer 做字词推理
-
9.11 会被拆分成 “9”、“.”和“11”
-
9.9 会被拆分成 “9”、“.”和“9”
-
这时,这么来看 11 > 9, 但是从数学角度,我们都知道,小数点后面并不能这样比较。于是当你让大模型一步一步分析后,它就开始了胡说八道
-
-
为什么大模型数学这么差?幻觉从何而来?
-
-
其实,大模型训练的原理是大量语料的死记硬背,比如你问大模型 1x9 等于多少,它会很自信的告诉你等于 9,因为它的训练语料中就有“九九乘法表”。
-
但是当你问 99x99 等于多少时?对于人类就无法快速给出答案,但人类可以计算推理,无外乎就是慢。 而大模型能否给出答案,就不是时间的问题,要取决于它的训练语料是否有这个知识(庞大的乘法口诀表),或者你的问题当中有没有给他补充知识以及外部工具插件的辅助,如果没有,它就会产生幻觉,开始给你胡说八道。
-
这就像 “让文科生学数学,全靠背” 一样
所以,学习大模型并不难,关键在于你要找到最系统、最全面、能用最直白的话给你讲明白原理的教程。这样你才能更好的应用起大模型。
我的 23 年 AI 知识库 50 万字,24 年知识库目前也已更新 24 万字,帮助了很多企业和小伙伴。并且由浅入深的有体系化的教程正在规划中...(下图为 24 年知识库部分示例)
关注我,学习更多关于AI知识以及应用场景,来为你的工作赋能,提升职场竞争力!
往期推荐
1、国内大模型 Top15 简介
2、我的国家级工信部认证 AIGC 证书(导师级)到手啦~
3、人工智能时代真的已经来了!已被定义为第四次工业革命!