“通识+产业”大模型,“Alaya元识”的赋能路径

news2024/11/26 11:30:38

在这里插入图片描述

2023年11月,国家工业信息安全发展研究中心、工信部电子知识产权中心发布的《中国AI大模型创新和专利技术分析报告》显示,我国大模型专利申请总数已突破4万余件,大模型相关领域的创新日益活跃。

相对于“能做诗会画画”的针对to C市场的大模型而言,面向to B市场的大模型如何深耕行业,充分了解行业知识,并且深入到行业客户的业务流程中,是形成行业壁垒或者说差异化竞争优势的关键。新华社研究院中国企业发展研究中心发布的《人工智能大模型体验报告3.0》显示,大模型厂商在技术实力上呈现出百家争鸣的态势,不同厂商在产品特点和优势上各有千秋。

除了身处热潮中心的大模型厂商与大模型本身以外,那些为大模型的行业落地赋能并提供相关基础软硬件和服务支撑的企业,不应该只是“无名英雄”,相反他们才是行业用户用好大模型不可或缺的可靠保证。

大模型落地最重要

对于很多致力于大模型普惠的基础设施提供商以及服务商而言,大模型是AI基础设施及服务中的一个重要组成部分,是撬动AI行业应用的一个支点。他们开发、优化大模型,旨在为那些自身不具备独立开发大模型的能力,或者没有必要自己开发大模型的企业用户提供一个快速部署和应用大模型的路径和平台,让各行各业的用户现在就能享受到大模型带来的红利。

作为AI基础软件供应商,九章云极DataCanvas为企业训练和应用大模型赋能,公司自研的多模态大模型系列——DataCanvas Alaya九章元识作为基础软件设施AIFS(AI Foundation Software)的重要组成部分,为企业用户提供了Foundation model,方便用户在此基础之上训练、微调自己的大模型。

对于大模型训练的更大挑战在于,如何在减少算力消耗的情况下,加速大模型的训练,并且在训练完成后更,更好地调教这个模型,并使之能够“飞入寻常百姓家”,让广大的中小企业受益。

九章云极DataCanvas之所以倾心打造Alaya元识系列大模型,初衷亦是如此。所谓元识,来源于佛教用语,意为先天具备的认识能力。Alaya元识系列大模型本身综合并消纳多种能力,旨在通过大模型的通用能力,最大程度地感知人类古今的所有知识、外界的运行规律、科学道理等,在此基础上更好地支持人类的各项业务,并具有类人的能力。

Alaya元识系列大模型的本质还是赋能AI应用:一方面,企业用户可以在Alaya元识大模型之上进行二次训练或微调,以满足业务应用需求;另一方面,九章云极DataCanvas拥有自己的智算中心,Alaya元识系列大模型就部署在此智算中心里,中小企业用户可以直接调用九章云极DataCanvas提供的大模型服务。

以Alaya元识系列大模型为牵引,九章云极DataCanvas正在积极寻找大模型在企业业务中的落地场景。目前除了通用大模型以外,公司还推出了金融行业大模型,未来还将发布更多针对行业的大模型,赋能和推动大模型应用的普及。

元识大模型的与众不同

随着“百模大战”渐成气候,产业界、学术界还有媒体纷纷发布自己的大模型评测榜单。但由于没有公认有效的评测标准和方式,以及不同榜单的侧重点不同,导致不同的排行榜的结果差异很大,甚至是有天壤之别。公开公平公正的评测确实能够为行业用户选择大模型提供有益的借鉴和参考,但是除了一些关键的技术指标之外,大模型能否有效地解决行业用户的业务痛点,不仅好用更要易用,才应该是选择大模型的重要标准。

Alaya元识大模型是九章云极DataCanvas自研的“通识+产业”白盒大模型。作为九章云极DataCanvas AIFS的核心能力之一,它秉持开放友好的开源理念,提供了一系列不同配置和参数、具备业界前沿能力和技术的预训练大模型,赋予用户更大自由度的AI创新能力,以加速实现大模型在多元业务场景中的落地和应用。

在这里插入图片描述

1. “白盒”大模型为用户提供更大自由度

现在,市场上的很多大模型都是“黑盒”,虽然在一定程度上开源了算法和架构,允许用户在上面进行训练,但是仍然受到诸多限制。比如,虽然允许用户使用该大模型,但是不能做微调,或者不允许用户做一些自己特有的商业化应用。Alaya元识是全面开源且license友好的“白盒”大模型,遵循Apache 2.0 license,行业用户可以在Alaya元识大模型之上自由地训练、微调自己的大模型。

2. “多模态”是必要前提,更是创新的手段

所谓多模态大模型,是指可以处理来自不同模态,如图像、语音、文本等多种信息的机器学习模型。今天,多模态已经成了大模型的“标配”。Alaya元识大模型不仅可以支持文本、图像,还能支持时序数据、结构化数据等。

举例来说,我们在设备维修手册中可能会经常看到类似的描述——“如图所示,故障点为图中红圈所示的位置……”如果是一个仅仅基于文档的大模型,就很难理解这句话的正确含义。图文示意就是一个典型的多模态应用。

对于Alaya元识大模型来说,深耕多模态毋庸置疑。九章云极DataCanvas还想做得更多,即将“数据”也作为重要的模态之一进行深入研究。应用大模型,数据是必须跨越的一道门槛。九章云极DataCanvas在自然语言的理解、文生图、代码生成等是大模型应用得比较好的领域有很多已经落地的成功案例。但是将数据作为一个模态进行研究并训练大模型的公司屈指可数,而九章云极DataCanvas走在前列。比如,九章云极DataCanvas发布的DataPilot,作为一种数据处理新范式和基于大模型的新一代数据架构工具,通过充分利用元识大模型的通用文本的理解和生成能力,以及在数据领域的微调优化,能够帮助用户实现数据在建模全生命周期内的智能化、自动化。

在训练大模型的过程中,数据处理、数据转换、数据分类、数据标签制作、数据存储等是费时费力的工作。以前,如果有类似需求,通常是由业务部门先向IT部门提出需求,IT部门还要求助数据湖仓建设部门,假如没有现成的数据,还要再找到原始存储数据,进行转换、清洗才能导入到数仓中并进行展现。有效缩短这条数据处理的长链条对于大模型的应用具有重要价值,可以有效减少大模型训练、应用过程中所耗费的人力,还能提升大模型应用的效果。DataPilot能可以大幅降低数据集成、治理、建模、计算、查询、分析、机器学习建模全链路的技术门槛,同时降低数据驱动业务发展的成本,加快企业数字化创新的进程。

在这里插入图片描述

3. 新的模型训练机制,降本增效

众所周知,训练一个大模型的成本是十分高昂。高就高在,大模型不可能仅凭一句话就能准确理解其含义,而是要输入和处理更多的语议语境,因此对算力的消耗是巨大的。大模型必须容纳更多更长的内容。Alaya元识大模型采用了改进的Attention机制、更长的Context window、可组合的微调以及全新的Masking机制等,在有效减少训练所消耗的算力基础之上,保证其理解的准确性,同时提升处理速度。

九章云极DataCanvas拥有一支研发团队,专门负责训练机制的研发与创新。Alaya元识大模型采用了新的Attention机制,不仅可以降低算力的消耗,而且在训练前与训练后,能够针对多模态实现有效的数据对齐。这是九章云极DataCanvas独有的技术,在训练时能够很好地容纳多模态这样一种训练方式。

4. 系列模型矩阵,更好地满足“通识+产业”的需求

Alaya元识不是一个大模型,而是一系列大模型,模型参数由小到大,覆盖从通识到垂直行业,能够更好地满足用户多样化的需求。九章云极DataCanvas正式开源大模型矩阵中Alaya-7B Foundation Model通识大模型和Alaya-7B Chat Model对话大模型两大模型,以及LLMOps大模型工具链中的LMS模型运行工具和LMPM 提示词管理器两大工具,能够有效地推动大模型在各类行业场景的实际应用。

Alaya-7B:https://github.com/DataCanvasIO/Alaya

在这里插入图片描述

LMS模型运行工具:https://github.com/DataCanvasIO/LMS

LMPM提示词管理器:https://github.com/DataCanvasIO/LMPM

在这里插入图片描述

在应用场景中,九章云极DataCanvas以Alaya元识大模型和LLMOps大模型工具链为基础研发出TableAgent数据分析智能体,TableAgent在充分的理解用户意图后,能够自主地利用统计科学、机器学习、因果推断等高级建模技术从数据中挖掘价值,进而提供分析观点和指导行动的深刻见解,实现人人都是数据分析师。

TableAgent公测地址:https://tableagent.DataCanvas.com

在这里插入图片描述

在金融、制造、新能源等领域,Alaya元识大模型已经有了很多落地的场景,并且实现了工具链、大模型和行业应用的融合创新。比如, Alaya元识大模型结合工具链之一的DingoDB多模向量数据库,为企业提供了企业知识管家解决方案。

九章云极DataCanvas通过软件基础设施为to B应用赋能的定位也决定了打造一个白盒大模型,让各行各业的用户都能通过元识大模型和AIFS基础软件,在自己的专业领域训练、优化属于自己的大模型。从通识起步,将积累的经验用于不同产业,这就是九章云极DataCanvas打造“通识+产业”大模型的初衷。

Alaya元识大模型包含在AIFS之中,而AIFS提供了大模型所需的数据准备、训练微调方式等,用户只要告诉AIFS数据在哪里,它就可以自动完成基础设施软件的加速、数据处理、数据打标等工作。用户不必再像以前那样自己选择不同的工具,并将其串接起来。AIFS自动完成了所需的串接和处理工作,大大减轻了用户的负担。Alaya元识大模型和AIFS的这种定制化能力也是其深受用户青睐的一个重要原因。

“大模型+小模型”两手硬

现在一说到人工智能,言必提大模型。但是这并不意味着要抛弃小模型,一下子全部转到大模型。九章云极DataCanvas认为,未来的生态一定是“大模型+小模型”,具有不同特点的模型可以适配不同的场景。

不可否认,大模型在面对通用的、具有一定逻辑推理能力、类人的自然语言处理方面具有天生的优势。但是目前,大模型的应用场景还不够丰富,仍处于不断摸索之中。而在那些需要精确计算或者是一些特定的应用场景中,小模型还是不可或缺的。在大模型之上,采用垂式蒸馏技术,将其蒸馏到小模型上,利用小模型可以更好地满足科学计算、归因分析等场景的应用需求。另外,现在市场上也有很多AI引擎通过调用、编排一些小模型,为业务提供支撑。从产品线布局看,九章云极DataCanvas正在进行内部调整,希望未来更多业务和产品能够由大模型提供支撑,同时也会坚定地依托“大模型+小模型”不断进行拓展。

中国科学技术信息研究所发布的《中国人工智能大模型地图研究报告》显示,在中国已发布的大模型中,超过半数已经开源。九章云极DataCanvas不仅将大模型开源,而且将AIFS中的一些组件也开源,目的就是让各种规模的企业,尤其是中小企业甚至个人,都能在九章云极DataCanvas开源的大模型和相关基础设施之上完成大模型的训练、微调以及应用的商业化。九章云极DataCanvas致力于人工智能开源生态的建设,希望在其中占据一席之地并深深扎根。

作者:郭涛

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1267429.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

东南大学与OpenHarmony携手共建开源生态,技术俱乐部揭牌成立并迎来TSC专家进校园

11月25日,OpenAtom OpenHarmony(以下简称“OpenHarmony”)项目群技术指导委员会(以下简称“TSC”)与东南大学携手,于东南大学九龙湖校区金智楼一楼报告厅举办了“东南大学OpenHarmony技术俱乐部成立仪式暨OpenHarmony TSC专家进校园”活动。此次盛会标志着OpenHarmony开源社区和…

TCP 基本认识

1:TCP 头格式有哪些? 序列号:用来解决网络包乱序问题。 确认应答号:用来解决丢包的问题。 2:为什么需要 TCP 协议? TCP 工作在哪一层? IP 层是「不可靠」的,它不保证网络包的交付…

Alivia 1.0 正式版来了,打造更懂企业的营销「工具箱」

上周,「Whale 帷幄」2023 秋季发布会圆满落下帷幕。发布会上,帷幄创始人 & CEO 叶生晅重磅发布了专为营销和销售设计的企业级 AGI 工具——Alivia 1.0 正式版,获得了广泛的反响和好评。 在这一年里,帷幄在 AGI 产品创新及落地…

力扣刷题篇之分治

系列文章目录 目录 系列文章目录 前言 一、分解问题 二、解决子问题 三、合并结果 总结 前言 刷题按照: [力扣刷题攻略] Re:从零开始的力扣刷题生活 - 力扣(LeetCode) 参考: 「五大常用算法」一文搞懂分治算法…

欧拉LINUX 23.09版本上安装ORACLE 19c

前面解决了在RHEL9上安装ORACLE 19C的问题后,发现龙蜥 LINUX23 上可以安装ORACLE19C,网上搜了一下,欧拉 linux 22.03 上,没有成功安装ORACLE 19c 的先例,23.09就更不用说了,但看到的错误,不外服都是缺 libp…

泛微OA对接金蝶云星空方案分享(对接场景解析)

分享金蝶云星空跟泛微OA系统集成对接的方案分享,主讲审批流程对接,表单对接的两类场景。分别是金蝶云星空发起申请和泛微发起流程审批,最终实现统一管理。 数据集成主要有以下好处: (1)数据一致性&#xf…

直播团队职责

一、直播策划 1.根据公司战略,制定直播计划和方案,包括直播频率、时间、主题等。 2.负责直播内容策划,包括商品选择、优惠策略、互动环节等。 3.分析市场竞争情况,调整和优化直播方案。 4.与团队协作,确保直播计划…

GANVAEDiffusion

数学基础 KL散度 描绘一个分布p和另一个分布q之间的偏离程度 当 p ( x ) q ( x ) p(x)q(x) p(x)q(x)时散度取得最小值 JS散度 另一种衡量两个概率分布相似性的方法 GAN 需要训练两个网络;损失来回波动,不好分辨,不容易收敛&#xff…

day32_Git

今日内容 零、 复习昨日 零、 复习昨日 一、引言 在单人开发过程中,需要进行版本管理,以利于开发进度的控制。 在多人开发过程中,不仅需要版本管理,还需要进行多人协同控制。 版本控制(VS) SVN GIT 二、介绍 Git是一个开源的…

WMS系统

什么是WMS系统? WMS(Warehouse Management System,仓库管理系统)是一种软件解决方案,旨在帮助用户优化仓库管理流程、管理和控制日常仓库运营。 WMS系统的主要功能有那些? 主要功能主要包括以下几点&…

AI伪原创软件-AI伪原创工具下载

在当今数字化时代,创作者们在追求独特创意的同时,也面临着时间和灵感的双重挑战。AI伪原创技术应运而生,为创作者提供了一种快捷而便利的解决方案。本文将专心分享两款备受瞩目的AI伪原创工具,147SEO伪原创、百度文心一言伪原创&a…

网站域名那些事儿

互联网用户对于在线数据安全的意识逐渐增强,因此拥有一个可靠的网络安全系统是至关重要的。而其中一个最重要的元素就是网站域名SSL证书。 SSL(Secure Socket Layer)是一种用于确保网站与访客之间通信安全的技术。通过使用SSL证书&#xff0c…

echarts案例网站

一、ppchart 网站:https://ppchart.com/#/ 二、echarts官网示例 网站:https://echarts.apache.org/examples/zh/index.html

[VNCTF 2023] web刷题记录

文章目录 象棋王子电子木鱼BabyGo 象棋王子 考点:前端js代码审计 直接查看js源码,搜一下alert 丢到控制台即可 电子木鱼 考点:整数溢出 main.rs我们分段分析 首先这段代码是一个基于Rust的web应用程序中的路由处理函数。它使用了Rust的异步…

龙迅LT8668SXC适用于TPYE-C/DP/HDMI转EDP/VBO同时环出一路HDMI/DP,支持分辨率缩放功能。

1.描述 应用功能:LT8668SXC适用于TYPE-C/DP1.4/HDMI2.1转EDP/VBO同时环出一路HDMI/DP应用方案 分辨率:高达8K30HZ, 工作温度范围:−40C to 85C 产品封装:QFN88 (10*10)最小包装数:1680pcs 2.产品应用 •视频…

BLIoTLink软网关,一键解决OT层与IT层的通信

在工业自动化领域,协议转换一直是一个重要的问题。不同的设备、系统往往使用不同的通信协议,这给数据采集、设备接入等带来很大的困扰。为了解决这个问题,各种协议转换软件应运而生。其中,BLIoTLink作为一款功能强大的嵌入式工业协…

设单链表中有仅三类字符的数据元素(大写字母、数字和其它字符),要求利用原单链表中结点空间设计出三个单链表的算法,使每个单链表只包含同类字符。

使用C语言编写的算法,将原单链表根据字符类型拆分为三个单链表。其中,大写字母链表(upperList)、数字链表(digitList)和其他字符链表(otherList)分别用于存储相应类型的字符。 `Upper Case List`存储了大写字母A、C, `Digit List`存储了数字1、2、3, `Other List`存…

ESXi vSAN 整合多主机磁盘

VSAN 与 RAID区别: vSAN 可以管理 ESXi 主机,且只能与 ESXi 主机配合使用。一个 vSAN 实例仅支持一个群集。vSAN 不需要外部网络存储来远程存储虚拟机文件,例如光纤通道 (FC) 或存储区域网络 (SAN) 使用传统存储,存储管理员可以…

大数据之HBase

HBase介绍 Apache的三篇论文,GFS谷歌文件系统->HDFS;MR -> MR ; BigTable ->HBase;HBase是hadoop数据库,一种分布式、可扩展的大数据NoSQL数据库之一。适合对于大量数据进行随机、实时的读写操作 HBase数据模型 Bigtable是一个稀…

2023.11.25 python常用数据集信息查看命令

2023.11.25 python常用数据集信息查看命令 在对数据集进行处理前一般需要对数据集先进行一个基本的观察,根据观察结果和经验确定处理方式。以kaggle员工离职数据集为例进行操作。 打印前5条数据 # 导入包 import pandas as pd# 读入数据 df pd.read_csv(HR_comm…