关注并星标
从此不迷路
计算机视觉研究院
公众号ID|ComputerVisionGzq
学习群|扫码在主页获取加入方式
计算机视觉研究院专栏
作者:Edison_G
本次讨论的话题仅限于计算机视觉研究院个人观点,若有说的不对的地方勿喷,有兴趣的也可以加入我们ChatGPT讨论兴趣小组。
一、背景
ChatGPT到底是个啥?
对于小白或者不知情的人士,其实对其还是很不了解,并且通过各种媒体报道,觉得它是一个神乎其神的产品,也是未来可替代部分劳动力的源头。
那今天我们来聊聊这个GPT,并说说国内发布的情况以及未来发展,真的国内会比国外差吗?——这个问题是开放性问题,大家可以一起讨论。
ChatGPT的横空出世拉开了大语言模型(LLM)产业和生成式AI产业蓬勃发展的序幕。今天我们先分析“OpenAI ChatGPT的成功之路”、“国内ChatGPT产业发展趋势”、“ChatGPT应用场景”、“ChatGPT风波下的‘危’与‘机’”四个问题。聚焦国内市场,辨析中国自研通用基础大语言模型的重要意义、分析中国大语言模型产业参与角色分化路径及原因、梳理呈现中国大语言模型产业受益链图谱。
大模型(以LLM为主,包含多模态模型等)产业的蓬勃发展将改变数字产业生态,助力AI工业化进程、变革交互方式、创造数字产业新的增长空间。
二、分析
OpenAI ChatGPT的成功之路
ChatGPT的发展史可以追溯到2015年,美国OpenAI公司由特斯拉创始人马斯克等硅谷大亨创立。2017年,OpenAI推出了基于Transformer模型的GPT-1,随后于2018年推出了具有1.17亿个参数的GPT-1模型。2019年,OpenAI公布了GPT-2,具有15亿个参数,该模型架构与GPT-1原理相同,主要区别是比GPT-1的规模更大。2020年,OpenAI推出了最新的GPT-3模型,具有1750亿个参数。GPT-3模型的训练规模比GPT-2更大,使用了更大量的语料库进行训练,从而可以生成更加准确和有用的文本。2022年3月,OpenAI推出了InstructGPT模型,该模型为GPT-3的微调版,以教人为目的而训练的 language model。2022年11月底,人工智能对话聊天机器人ChatGPT推出,短短几个月时间,ChatGPT在2023年1月份的月活跃用户数已达1亿,这使其成为史上用户数增长最快的消费者应用。
总的来说,ChatGPT的发展历程曲折而精彩,OpenAI公司在人工智能领域持续探索,不断推出新的模型和产品,旨在让人工智能技术更好地服务于人类。
ChatGPT与InstructGPT
谈到Chatgpt,就要聊聊它的“前身”InstructGPT。2022年初,OpenAI发布了InstructGPT;在这项研究中,相比 GPT-3 而言,OpenAI 采用对齐研究(alignment research),训练出更真实、更无害,而且更好地遵循用户意图的语言模型 InstructGPT,InstructGPT是一个经过微调的新版本GPT-3,可以将有害的、不真实的和有偏差的输出最小化。
InstructGPT的工作原理是什么?
开发人员通过结合监督学习+从人类反馈中获得的强化学习。来提高GPT-3的输出质量。在这种学习中,人类对模型的潜在输出进行排序;强化学习算法则对产生类似于高级输出材料的模型进行奖励。训练数据集以创建提示开始,其中一些提示是基于GPT-3用户的输入,比如“给我讲一个关于青蛙的故事”或“用几句话给一个6岁的孩子解释一下登月”。
开发人员将提示分为三个部分,并以不同的方式为每个部分创建响应:
人类作家会对第一组提示做出响应。开发人员微调了一个经过训练的GPT-3,将它变成InstructGPT以生成每个提示的现有响应。
下一步是训练一个模型,使其对更好的响应做出更高的奖励。对于第二组提示,经过优化的模型会生成多个响应。人工评分者会对每个回复进行排名。在给出一个提示和两个响应后,一个奖励模型(另一个预先训练的GPT-3)学会了为评分高的响应计算更高的奖励,为评分低的回答计算更低的奖励。
开发人员使用第三组提示和强化学习方法近端策略优化(Proximal Policy Optimization, PPO)进一步微调了语言模型。给出提示后,语言模型会生成响应,而奖励模型会给予相应奖励。PPO使用奖励来更新语言模型。
重要在何处?核心在于——人工智能需要是能够负责任的人工智能
OpenAI的语言模型可以助力教育领域、虚拟治疗师、写作辅助工具、角色扮演游戏等,在这些领域,社会偏见、错误信息和毒害信息存在都是比较麻烦的,能够避免这些缺陷的系统才能更具备有用性。
Chatgpt与InstructGPT的训练过程有哪些不同?
总体来说,Chatgpt和上文的InstructGPT一样,是使用RLHF(从人类反馈中强化学习)训练的。不同之处在于数据是如何设置用于训练(以及收集)的。(注解:之前的InstructGPT模型,是给一个输入就给一个输出,再跟训练数据对比,对了有奖励不对有惩罚;现在的Chatgpt是一个输入,模型给出多个输出,然后人给这个输出结果排序,让模型去给这些结果从“更像人话”到“狗屁不通”排序,让模型学习人类排序的方式,这种策略叫做supervised learning。
国内外竞品分析
国内外主要LLMs研发路径与技术对比(转自艾瑞咨询)
(转自艾瑞咨询)
国内外LLMs产商商业路径对比
a、研究方向:
国外:谷歌、微软、脸书等大型语言模型公司主要研究方向为自然语言处理技术(NLP)和人工智能(AI),致力于开发更为智能、更具有交互性的语言模型。他们将大语言模型视为未来数字世界与人类之间沟通的桥梁,以此为出发点不断拓展技术边界。
国内:国内公司在确保技术领先的基础上,更加关注产业链的整合和布局。中国大型语言模型公司倾向于在多个领域同时发力,包括基础层(芯片、算法、云计算)、技术层(语言模型、预训练模型)和应用层(智能手机、智能汽车、智能家居等),旨在打造更加全面和具有综合竞争力的产业生态。
b、商业变现:
国外:国外公司主要通过向企业出售大型语言模型提供的API服务接口来实现商业变现,或者通过将广告投放至模型输出结果界面等方式获得营收。
(转自艾瑞咨询)
国内:国内公司则主要依靠向企业提供定制化的AI能力输出、技术赋能和解决方案,从而实现收益。同时,基于大语言模型的AI 2.0技术也在逐步拓展到智能手机、智能汽车、智能家居等领域,通过与移动互联网、物联网等产业结合,实现更为丰富的应用场景和商业模式。
(转自艾瑞咨询)
c、未来展望:
国外:未来,国外公司将继续深耕自然语言处理技术和人工智能领域,致力于打造更为智能、更为人性化的大语言模型。同时,国外公司也将拓展更多元化的应用场景,例如医疗、教育等领域,通过大语言模型技术的不断升级和进步,为用户带来更多便利和价值。
国内:国内公司将继续在基础研究和应用场景方面取得平衡发展,注重提升大语言模型的智能性和可用性。同时,随着中国产业升级和消费升级的推进,大语言模型技术将被广泛应用于智能制造、智慧城市、智能金融等领域,为中国经济的数字化转型和升级提供强有力的支撑。
总体来说,国内外大语言模型产商的商业路径存在一定差异,但都在不断拓展技术边界,以更好地适应市场需求和变化。随着大语言模型技术的不断发展和成熟,这些差异可能会逐渐缩小,而更加注重发掘模型的商业价值和技术实用性。
国内ChatGPT产业发展趋势
技术升级:中国类ChatGPT技术将不断升级,以满足不同场景的应用需求。例如,通过引入自然语言处理技术、机器学习算法、深度学习技术等,可以提高类ChatGPT应用的交互性和智能性
行业应用:中国类ChatGPT将广泛应用于各个行业,如医疗、金融、电商、教育等。这些行业将通过引入类ChatGPT技术,提高工作效率,降低成本,提升用户体验
定制化服务:随着类ChatGPT技术的不断成熟,将涌现出越来越多的定制化服务。例如,通过定制化的人工智能模型,为企业提供更准确的营销策略、更高效的产品推广等
市场竞争:中国类ChatGPT产业将面临激烈的市场竞争。国内外的科技巨头纷纷布局类ChatGPT领域,开发相关技术和产品。这必将引发市场的激烈争夺战,同时也将推动整个行业的技术进步和成本降低
法律监管:随着类ChatGPT应用越来越普及,法律监管问题也将日益凸显。例如,类ChatGPT应用可能会涉及到用户隐私泄露、虚假信息传播等问题。因此,相关的法律监管将需要不断完善和加强。
总之,中国类ChatGPT产业将在技术升级、行业应用、定制化服务、市场竞争和法律监管等方面呈现出发展趋势。这将为该行业的发展带来新的机遇和挑战。
中国LLMs产业价值链
ChatGPT应用场景
ChatGPT在金融领域有广泛的应用,包括以下几个方面:
客户服务:ChatGPT可以提供24/7在线客服服务,解答客户的问题和解决他们的需求,提高服务质量和客户满意度。
风险管理:ChatGPT可以利用历史数据和金融市场数据,自动化生成风险报告和预测模型,帮助金融机构更好地预测和评估风险。
投资分析:ChatGPT可以自动化生成投资研究报告和预测模型,帮助投资者做出更好的投资决策。
智能理财:ChatGPT可以提供智能投顾方案和推荐产品,帮助金融机构为客户提供更加个性化的服务。
自动化交易:ChatGPT可以自动化执行交易策略,帮助投资者快速决策并获得更好的交易体验。
总之,ChatGPT在金融领域有广泛的应用,可以提高金融机构的效率和服务质量,同时也可以帮助投资者做出更好的投资决策。
ChatGPT对数字产业产生了深远的影响,其中以下几个方面表现得尤为突出:
提升效率:ChatGPT可以协助数字产业中的企业进行文字梳理、归纳、创意和方案生成等工作,从而提高工作效率。
优化流程:ChatGPT通过对数字产业中的规章、标准和规范等文件进行语义理解,为企业提供更加清晰和简洁的解释,从而提高工作效率和准确性。
风险预估:在数字产业中,ChatGPT可以通过分析数据和模型,协助企业进行初步的风险预估,并提供预警和建议,从而降低风险。
人才培养:ChatGPT的出现为数字产业人才培养提供了新的工具和方法。通过ChatGPT等AI工具,可以更快速、更高效地培养出具备数字化素养的人才,提高企业的数字化转型能力。
业务创新:ChatGPT为数字产业中的企业提供了新的业务创新机会。通过对大量数据的分析,ChatGPT可以帮助企业挖掘新的商业价值,发现新的业务模式和市场机会。
产业协同:ChatGPT为数字产业中的企业提供了更好的产业协同工具。通过ChatGPT等AI工具,企业可以更快速、更高效地实现跨部门、跨组织的协作和沟通,从而提高整体的工作效率和协同效果。
总之,ChatGPT在数字产业中具有广泛的应用前景和深远的影响,它将推动数字产业的进一步发展,加速数字化转型的进程,为数字产业中的企业带来新的机遇和挑战。
ChatGPT对程序员的影响如下:
自动化编程:ChatGPT的出现使得程序员可以通过自然语言来描述需求和功能,从而自动生成代码。这种自动化编程技术可以大大减少编程的工作量和时间,并提高编程的效率和准确性。例如,Github推出了一个基于GPT-3的自动化编程工具Copilot,它可以根据用户的自然语言描述,自动完成代码的编写。这种技术不仅可以提高编程效率,还可以使得编程更加容易上手,降低了编程的门槛。
智能化调试:ChatGPT还可以帮助程序员进行智能化调试。程序员通常需要手动排除代码中的错误和漏洞,这是一个非常耗时和困难的过程。通过GPT-3的自然语言理解和推理能力,ChatGPT可以在代码中发现隐藏的错误和漏洞,帮助程序员更快地排除问题。
更好的团队协作:ChatGPT还可以作为一个团队协作工具,帮助团队成员更好地沟通交流和协作。通过 ChatGPT,团队成员可以更快速地理解他人的代码和想法。
释放人类创造力:ChatGPT可以生成一些重复性的代码,从而让程序员专注于算法设计和系统架构等方面的工作,释放人类创造力。
综上所述,ChatGPT对程序员的影响是巨大的,它不仅可以提高编程的效率,还可以让编程更加容易上手,降低编程门槛,同时帮助程序员进行智能化调试、更好地进行团队协作,并释放人类的创造力。
ChatGPT风波下的“危”与“机”
ChatGPT风波下的危与机,可以从不同角度进行探讨。
从危机方面来看,ChatGPT的出现可能会对某些行业和就业产生影响,尤其是那些需要从事重复性工作的职业,如客服、数据标注等。此外,ChatGPT可能会带来的隐私和安全问题也需要引起关注。
从机遇方面来看,ChatGPT技术可以为企业和机构带来更加智能化和自动化的解决方案,从而提高工作效率和创造力。例如,通过ChatGPT技术可以自动生成代码、翻译文件、回答问题等等,对于提高个人和企业的工作效率都有很大的帮助。此外,ChatGPT所涉及的领域包括自然语言处理、机器学习、人工智能等,也给相关领域的创新和发展提供了新的机遇。
从挑战方面来看,ChatGPT浪潮下,个人和企业需要不断学习和适应新的技术和应用,同时也需要在合理应用ChatGPT技术的同时,积极应对可能出现的挑战和风险,确保ChatGPT技术的应用能够符合人类的价值观和需要。此外,ChatGPT浪潮下,如何保护个人隐私和数据安全也需要引起关注。
总之,ChatGPT风波下的危与机需要个人和企业进行全面分析和评估,从而把握机遇、应对危机。
三、头脑风暴
凤凰网《AI前哨》对话中科院自动化所复杂系统管理与控制国家重点实验室主任、中科慧拓首席科学家王飞跃。王飞跃主要研究领域为智能系统和复杂系统的建模、分析和控制与管理,是AI和智能控制方面的国际知名学者。
期间就有这么的对话:
AI前哨:国内的大模型和GPT相比,使用起来有什么不同?
王飞跃:从有限的例子里,我觉得有差别。
AI前哨:差距多大?
王飞跃:我认为至少差它们一半的时间。
AI前哨:有观点说我们只差两个月,也有创业者说我们离GPT3.5还差两年,还有企业说10月就要赶超ChatGPT了。
王飞跃:现在国外和国内都没有一个公认标准,以及一个相对对等可判定的环境去评测,不同说法也自然,大家心里都有一本账。不过我坚信,不要多久,我们一定会把,也必须把ChatGPT之类的大模型做成“白菜价”,问题还是:之后呢?
有些团队打着中国版ChatGPT的口号,实则是用的ChatGPT接口,一旦ChatGPT出现问题后,这些团队接入的数据也会出现尴尬的一幕,导致程序根本无法使用。
很显然,在新一轮的科技创新浪潮下,中国科技企业又输了,但这次输给美国,其实不能完全怪中企不努力,而是在技术沉淀上,美国确实领先了太多。
事实上GPT-3.5版本就已经十分强大了,但OpenAI却在短短几个月后又迭代升级GPT-4,虽然没有公布详细数据,但表现出来的强大能力,已经无法撼动了。GPT-4新版本不仅支持文字输入,还可以接受图像和文本输入,在信息处理能力上也有大幅提升,甚至可以玩角色扮演了。
从ChatGPT的智能化水平中,我们能够看到中美之间在人工智能技术上存在的差距,而造成这一差距的根本原因,就是我上面提到的那两点。
一方面是算法层面的经验积累,长达几十年的积累是实现技术突破的基石。
另一方面则是硬件层面的优势,靠着强大的硬件支持,美国科技企业有更有利的条件去发展人工智能技术。
而后者相比前者,技术门槛更高,毕竟算法靠的是一个团队的合力攻关,只要可以建一套好的模型出来,就能训练出一个自动化程序。这段转自《王石头科技》
© THE END
转载请联系本公众号获得授权
计算机视觉研究院学习群等你加入!
ABOUT
计算机视觉研究院
计算机视觉研究院主要涉及深度学习领域,主要致力于人脸检测、人脸识别,多目标检测、目标跟踪、图像分割等研究方向。研究院接下来会不断分享最新的论文算法新框架,我们这次改革不同点就是,我们要着重”研究“。之后我们会针对相应领域分享实践过程,让大家真正体会摆脱理论的真实场景,培养爱动手编程爱动脑思考的习惯!
VX:2311123606
往期推荐
Transformer工业部署落地!超越ResNet、CSWin(附源码)
CVPR2023高质量论文 | Consistent-Teacher:半监督目标检测超强SOTA
工业检测:基于密集尺度特征融合&像素级不平衡学习框架(论文下载)
用于精确目标检测的多网格冗余边界框标注
目标检测创新:一种基于区域的半监督方法,部分标签即可(附原论文下载)
LCCL网络:相互指导博弈来提升目标检测精度(附源代码)
纯干货:Box Size置信度偏差会损害目标检测器(附源代码)
RestoreDet:低分辨率图像中目标检测