据报道,日前,百度文心大模型3.5版本已经完成内测应用,并在三大公开测试集上展现了出色的表现,其综合能力评测得分已经超过ChatGPT,部分中文能力甚至超越了GPT-4。
根据《中国科学报》的报道,3月份,百度推出了新一代知识增强大语言模型“文心一言”,并公开邀测。该模型基于文心大模型3.0版本打造,而在经过了3个多月的升级和优化后,文心大模型3.5版本在效果、功能和性能方面都得到了全面提升。
百度首席技术官王海峰介绍,与文心大模型3.0版本相比,3.5版本在创作、问答、推理和代码方面的提升非常显著,同时在训练速度和推理速度上也有了极大的提升。
对比数据显示,文心大模型3.5的训练速度提升了2倍,推理速度提升了17倍。这将大大提高模型迭代升级的效率,降低训练和使用成本,进一步提升用户的使用体验。
在功能方面,文心大模型最大的变化是引入了插件机制。王海峰表示,默认的内置插件“百度搜索”使文心一言具备了生成实时准确信息的能力,而长文本摘要和问答插件“ChatFile”则支持超长文本输入。
王海峰表示,接下来,文心一言将发布更多优质的百度官方和第三方插件,使用户能够更好地应用文心大模型。同时,文心一言将逐步开放插件生态给第三方开发者,帮助开发者基于文心大模型打造自己的应用。
据王海峰透露,文心大模型3.5在基础模型训练中采用了飞桨最先进的自适应混合并行训练技术和混合精度计算策略,并通过多种策略优化数据源及数据分布,大大加快了模型的迭代速度,提升了模型的效果和安全性。
同时,百度文心大模型研发团队创新了多类型多阶段有监督精调、多层次多粒度奖励模型、多损失函数混合优化策略、双飞轮结合的模型优化等技术,使模型的效果及场景适配能力得到了进一步提升。
王海峰表示,在之前的版本中,文心大模型已经增强了知识和检索能力,而文心大模型3.5版本则进一步提出了“知识点增强技术”。
具体而言,知识点增强技术首先对用户输入的查询、问题等进行分析理解,并解析生成答案所需要的相关知识点,然后运用知识图谱和搜索引擎为这些知识点找到相应答案,最后用这些知识点构造输入给大模型的提示。
通过运用知识点增强技术,文心大模型3.5能够更详细、更具体地掌握和运用专业知识,从而在完成各项任务时达到显著的提升效果。
此外,在推理方面,研发团队通过大规模逻辑数据构建、逻辑知识建模、粗粒度与细粒度语义知识组合以及符号神经网络技术,显著提升了文心大模型3.5在逻辑推理、数学计算及代码生成等任务上的表现。
值得注意的是,目前面向公众邀测的文心一言已经升级到文心一言2.0,最新版本为6月21日上线的文心一言V2.1.0。该版本引入了ChatFile插件,可以基于长文档进行问答和摘要;同时优化了模型在数学计算和作文创作方面的能力。这些功能的背后正是文心大模型3.5所提供的支持。
王海峰表示,已经获得邀测资格的用户可以随时访问服务,体验文心大模型3.5的实际效果。例如,百度“如流”已经基于文心一言的能力上线了“智能总结”“智能洞察”“超级助理”等多个新功能,为企业办公提供了统一的入口和流程;同时,百度智能编码助手Comate可以根据自然语言描述生成对应的代码片段,提升开发效率。
再比如,在智能编程方面,百度智能编码助手Comate已经可以根据自然语言的描述,生成对应的代码片段,支持在代码编辑区内根据注释自动生成代码,提升开发效率。这些都是文心大模型3.5在实际应用中的具体体现。
总的来说,百度文心大模型3.5版本的升级和应用,展现了其在领导力、创作力、推理力和编程能力等方面的强大实力。通过不断的技术创新和应用探索,百度文心大模型将在更多领域发挥巨大的价值和潜力。