认识大模型
- 什么是大模型?
- 发展趋势
- AGI是不是泡沫
- 大模型对比【时效】
- 大模型特点
- 大模型技术原理
- 向量化
- 除了向量化,大模型还具有特征提取特点
- 总结
- 结语
什么是大模型?
大模型是大规模语言模型(Large Language Model)的简称。语言模型是一种人工智能模型,他被训练成理解和生成人类语言。“大”在“大语言模型”中的意思是指模型的参数量非常大。比如ChatGPT,文心一言等
发展趋势
更强大的模型: 未来AIGC将会使用更大规模、更强大的预训练模型。随着硬件技术的进步和模型设计的改进,模型的参数和能力将不断增加,使其能够处理更复杂的任务和生成更高质量的内容。
多模态生成: AIGC不仅限于文本生成,未来趋势将发展成为多模态生成,即同时生成文本、图像和音频等多种内容,GPT-4o就是多模态产物。这将为创意产业和多媒体应用带来更多的可能性。
个性化生成: 未来AIGC可能朝着更加个性化的方向发展,能够根据用户的偏好和需求生成内容,为用户提供定制化的体验。
当然最新的GPT-o1,主要是逻辑推理方面得到了很大的加强,具备自我规划、自我纠错、自我验证的能力,像一个超大的Agent,弥补了GPT-4逻辑推理方面的缺点。也给大模型发展除增加参数、增加算力之外开辟了一个新的发展道路。
AGI是不是泡沫
谷歌DeepMind提出了一个关于AGI发展的分级框架,让我们来看看这个框架:
- 涌现级(Emerging):这一阶段的模型技能相当于或略超过没有相关技能的人类。例如,像ChatGPT、Bard和Llama 2这样的大模型就属于这个阶段。
- 刚刚合格级(Competent):在技能上达到正常成年人50%的水平。例如,语音助手Sir和在短文写作/简单编码等任务中达到SOTA水平的大模型。
- 专家级(Expert):可以达到正常成年人90%的水平。这一阶段的模型包括拼写和语法检查器如Grammarly,以及图像生成模型Imagen。
- 大师级(Virtuoso):可达到正常人类99%的水平。AlphaGo和Deep Blue等模型属于这个阶段。
- 超人级(Superhuman):在技能上已经超越顶尖科学家的模型,例如AlphaFold和AlphaZero。
根据这个标准,目前大多数AI产品在技能水平上已经进入了不同的AGI阶段,但通用性方面仍有待提高。ChatGPT等模型已经完全合格,但仍处于最底层的“一级AGI”阶段。
总之,AGI的发展是一个复杂的过程,需要综合考虑技能和通用性。虽然目前还没有完全达到人类智能水平的AGI,但我们对其发展充满期待。
大模型对比【时效】
模型详细对比信息,可以参考:https://github.com/wgwang/awesome-LLMs-In-China
百度在AI方面布局多年,具有一定大模型先发优势。百度的文心一言API调用服务测试的企业已经上亿。在行业大模型上,已经与国网、浦发、人民网等有案例应用。
阿里通义大模型在逻辑运算、编码能力、语音处理方面见长,集团拥有丰富的生态和产品在线,在出行场景、办公场景、购物场景有广泛应用。
ChatGPT是目前最先进的模型之一,是最流行的模型。
大模型特点
- 知识丰富
- 道德感强,法律边界清晰
- 有记忆力,可联系上下文
- 知错就改
- 知人晓事
举例1:道德感强,法律边界清晰
举例2:知错就改
大模型技术原理
简单来说,就是将所有的信息(文字、图片等)转换为向量,转换为向量后,就可以使用任意的数学公式进行计算,通过大量的数据训练,模型学会如何在这些向量之间进行加、减、乘、除等操作,以达到理解、生成和预测的目的。其中的关键特点
向量化
向量化就是将各种信息转换为向量,用向量去表示原来的信息。
向量化就是为了方便计算机系统去运算处理,发现规律,从而推理出内容,完成智能任务。
向量化是来自Google发表的Word2vec算法来实现的,算法大家可以自行了解
除了向量化,大模型还具有特征提取特点
在本题中,传统的推理只是根据最近两个字进行推理,很有可能会推理出B,很明显是不对的
为了解决这个问题,Google发表的论文Attention Is All You Need,解决了自然语言特征提取的问题,简单理解为不仅从最近的词汇来推理,还从整个句子中获取多个关键词(如:直播、老师、喜爱),根据关键词还分析语义,从而进行推理(将多个关键词向量化进行运算)
总结
通过这篇文章大家可以对大模型有一个基础的认识,关于大模型的底层架构以及所涉及的算法,感兴趣的兄弟可以自行学习,确实具有一定的难度,本人作为运维出身,反复看了好几遍还是迷迷糊糊,后续如果理解的差不多了再考虑给大家分享。
结语
最后,引用数格科技AI网站上的一句话:“面对AI焦虑,你没必要跟汽车赛跑,而是应该考个驾照!”