趋动科技陈飞:从小模型到大模型,AI时代下的数据中心建设

news2024/9/21 0:34:54

自AI大模型横空出世,不断推动着AI从学术界到产业界向大众破圈,新的时代正在来临。11月15-16日,由CDCC主办的“2023第11届数据中心标准大会”在北京国家会议中心盛大开幕。

本届大会的主题围绕“AI时代 重塑未来”,聚焦数据中心领域科技前沿,行业各领域专家从算力演进、智能升级、液冷落地、能源革新四个层面,分享了数据中心产业向AI智算时代迈进的前沿趋势、创新路径和实践经验,展示了行业高质量发展的布局与成果。

趋动科技联合创始人兼CTO陈飞博士受邀参加《智算未来·驱动AI绿色算力》论坛,并发表题为《从小模型到大模型,AI时代下的数据中心建设》的演讲,深入探讨了大模型时代,在数据中心建设中对AI算力的需求和挑战。

趋动科技联合创始人兼CTO陈飞博士

算力建设对于数据中心和人工智能发展具有重要意义,它不仅支持大模型的训练和推理,还为各行各业提供了强大的计算能力。在医疗领域,算力建设可以加速医学影像的分析和疾病诊断;在金融领域,可以进行高频交易和风险评估等复杂计算任务。此外,数据中心的算力建设还有助于推动科学研究的进展,如天文学、气候学和基因组学等领域。

然而,算力建设也面临着一些挑战。大模型通常包含数以亿计的参数,需要在海量数据上训练以获得准确的结果。为了满足这种需求,数据中心必须能够提供足够的算力和存储能力。这首先带来了成本问题,高性能硬件和大规模存储系统的采购和维护成本较高。其次是能源消耗和热管理问题,大规模数据中心需要消耗大量的电力,并且需要有效地处理散发的热量。此外,数据中心的安全性和可靠性也是需要重视的问题,因为它们存储和处理着大量敏感数据。

AI算力资源池化技术为数据中心提供了从软件角度实现智能分配计算资源、提高算力利用率的思路。

算力池化解决方案架构图

OrionX AI算力资源池化解决方案,通过软件定义算力、共享GPU的理念来构建GPU资源池,让企业内的AI用户共享数据中心内所有服务器上的AI算力,提升资源利用率5-8倍。

面对国内AI芯片的迅速崛起,趋动科技在技术方面积极创新,OrionX 现在已经能兼容包括海光、寒武纪等在内的国产芯片,实现异构资源池化管理。资源池内各类硬件加速卡可通过趋动科技 OrionX进行算力抽象,软件化后形成统一的AI算力资源提供给上层应用使用。异构算力池化解决方案可在实现多厂商AI算力硬件统一管理、统一调度、统一使用的同时,结合软件定义异构算力技术实现AI算力的统筹分配、资源池化、高效保障和运维管理。

实现异构算力的统一调度及管理

凭借标准化、可复制的产品架构,趋动科技得到了包括运营商、互联网、金融、自动驾驶、制造业、能源、科研机构和高校等大量行业头部客户的认可和规模化落地,帮助他们提升了资源利用率和工作人效,保护已有投资。

算力是推动人工智能技术发展的重要因素。随着技术的不断进步,我们可以期待算力建设在推动人工智能创新和解决现实问题方面发挥更大的作用。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1994652.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

pycharm使用fastapi/uvicorn无法reload的问题

pycharm使用fastapi/uvicorn无法reload的问题 一、前言 1、解决方法 (1)控制台执行uvicorn指令 pycharm的问题,建议控制台直接输uvicorn main:app --reload,而不是在代码里 uvicorn.run() 运行 (2)将uv…

sharded_inference_engine:MLXDynamicShardInferenceEngine;step

目录 sharded_inference_engine:MLXDynamicShardInferenceEngine 类属性 方法 __init__(self) async def infer_prompt(self, shard: Shard, prompt: str, inference_state: Optional[str] = None) -> (np.ndarray, str, bool) async def infer_tensor(self, shard: …

小白零基础学数学建模系列-Day1-数学建模入门介绍

目录 第1天:数学建模入门介绍一、介绍数学建模的定义和重要性二、常见的数学建模方法概述三、确定问题和建立假设四、模型构建步骤及求解模型的方法五、模型的验证与检验的必要性 作业作业案例分析:实际问题:城市交通拥堵预测问题描述建模方案…

【大模型学习】多模态大模型进行偏好优化

一、简介 训练模型以理解并预测人类偏好是一项复杂的任务。传统方法如SFT(监督微调)通常需要较高的成本,因为这些算法需要对数据进行特定标签的标注。偏好优化(Preference Optimization)作为一种替代方案,…

云计算任务调度优化matlab仿真,对比蚁群优化和蛙跳优化

目录 1.程序功能描述 2.测试软件版本以及运行结果展示 3.核心程序 4.本算法原理 4.1 ACO蚁群优化 4.2 蛙跳优化 5.完整程序 1.程序功能描述 云计算任务调度优化,优化目标位任务消耗时间,调度后的经济效益以及设备功耗,对比蚁群优化算法和蛙跳优化…

【IEEE独立出版 | EI稳定检索】第三届人工智能、物联网和云计算技术国际会议(AIoTC 2024)

【IEEE独立出版 | EI稳定检索】 第三届人工智能、物联网和云计算技术国际会议(AIoTC 2024) 2024 3rd International Conference on Artificial Intelligence, Internet of Things and Cloud Computing Technology 2024年9月13-15日 | 中国武汉 AIoTC …

mysql 日志爆满,删除日志文件,定时清理日志

今天发现网站不能正常访问,于是登陆服务器查找问题。 机智的我随手用命令:df -l 发现 硬盘爆满了,于是就知道问题所在了。 Filesystem 1K-blocks Used Available Use% Mounted on/dev/xvda1 20641404 16963004 16929876 10…

使用 Elastic 和 Mistral 构建多语言 RAG(二)

这篇文章是之前的文章 “使用 Elastic 和 Mistral 构建多语言 RAG(一)” 的续篇。在这篇文章中,我将展示如何在本地部署中完成在那篇文章中的实现。 注意:由于 semantic text 从 8.15 版本开始提供,你需要至少 8.15 及…

Go框架选战:Gin、Echo、Fiber的终极较量

Gin 优点: 高性能: 优化以处理高并发和低延迟请求。易于上手: 对于熟悉 Go 的开发者来说,API 设计直观,学习曲线低。社区支持强: 广泛使用,有大量第三方中间件和教程。 缺点: 相比于其他框架如 Echo,Gin缺乏内置的验证支持Gin…

万字长文揭秘高性能架构

从零开始学架构系列文章: 从零开始学架构——概念和基础 从零开始学架构——万字长文揭秘高性能架构 从零开始学架构——高可用架构 从零开始学架构——可扩展架构 高性能存储 关系数据库 互联网业务兴起之后,海量用户加上海量数据的特点&#xff0…

无人机之民用无人机用途分类篇

一、航拍无人机 用于航拍摄影和电影制作,提供空中视角的拍摄服务。可用于电影制作、广告拍摄、房地产销售等。 二、物流无人机 用于快递和货物运输,提高物流效率,可以到达传统配送方式难以覆盖的地区,在突发事件如自然灾害、疫…

keepalived工作原理和使用方式

keepalived是什么 keepalived是集群管理中保证集群高可用的一个服务软件,用来防止单点故障。 keepalived主要有三个模块 分别是core、check和vrrp。core模块为keepalived的核心,负责主进程的启动、维护以及全局配置文件的加载和解析。check负责健康检…

怎么根据企业特点提供个性化的六西格玛培训?

近年来,六西格玛作为一种强大的质量管理方法,以其数据驱动、流程优化和减少缺陷为核心,被众多企业视为提升竞争力的关键工具。然而,并非所有企业都能直接套用标准的六西格玛培训体系,因为每个企业的文化、行业特性、发…

顺序队列和链式队列的基本操作

顺序队列 函数说明😃: InitStack( &s):初始化栈 StackEmpty(s):判断一个栈是否为空 Push(& s, x):进栈 Pop(&s, &x):出栈 GetTop(s,&x):读栈顶元素 show(s):读出…

Vue3项目框架搭建

前言 大多时候是在别人搭建好的项目上开发需求,突然要自己从新项目搭建开始,纯纯赶鸭子上架,参考一些项目,试着搭建的,记录一下历程,主要怕忘了。有些地方本该贴上代码截图更好,但是我此刻手头…

Vue引入使用iconfont字体图标

由于element-ui或element-plus提供的图标有时候并不能满足日常需求,所以这篇介绍一下前端引入阿里巴巴矢量图标库使用,不止是vue使用,不限于vue2、vue3,html或是其他框架也是同样的道理,只要引入都是同样可以使用的。 1. 首先进入阿里巴巴矢量图标库官网 官网:https://…

弱智吧:大模型变聪明,有我一份贡献【大模型VS弱智吧,谁聪明?谁弱智?】

「被门夹过的核桃,还能补脑吗?」 在中文网络上流传着这样一段话:弱智吧里没有弱智。 百度「弱智吧」是个神奇的地方,在这里人人都说自己是弱智,但大多聪明得有点过了头。最近几年,弱智吧的年度总结文章都可…

算法——决策树

简介:个人学习分享,如有错误,欢迎批评指正。 一、什么是决策树? 决策树(decision tree):决策树是一种树形结构的监督学习算法,广泛应用于分类任务和回归任务中。它通过递归地将数据…

豆瓣的ip地址怎样修改:探索显示机制与实用操作

在数字化时代,网络空间成为了我们日常生活不可或缺的一部分。豆瓣,作为一个集书籍、电影、音乐评论及社交功能于一体的综合性平台,其用户遍布全球。然而,有时我们可能因为隐私保护、网络限制或特定需求而希望修改在豆瓣上显示的IP…

【STM32 FreeRTOS】任务

使用 RTOS 的实时应用程序可以被构建为一组独立的任务。每个任务在自己的上下文中执行,不依赖于系统内的其他任务或 RTOS 调度器本身。在任何时间点,应用程序中只能执行一个任务,实时 RTOS 调度器负责决定所要执行的任务。因此, R…