400G智算网络助力知名自动驾驶企业算力训练提效

news2024/12/26 18:52:46

根据Gartner的最新趋势预测,自动驾驶技术正迅速发展,预计在未来几年内将带来显著的商业效益,特别是在决策智能和边缘人工智能领域。目前,一家领军企业正积极拥抱基于大模型的数字化转型之路,作为自动驾驶领域的佼佼者,该公司正积极响应这一趋势。公司专注于智能座舱、自动驾驶技术以及网联服务,不断研发高度集成的智能硬件和前沿的软件算法,为消费者打造智能高效的综合出行方案。

当前,企业迫切需要升级自己的智算中心,以满足日益增长的算力需求。这一中心将服务于公司内部的大型模型训练,并为汽车行业的客户提供全面的自动驾驶模型解决方案。

智算网络需要满足算力训练提效需求

为了确保自动驾驶智算中心的顺利搭建和高效运作,必须综合考量硬件的高可靠性、组网方案的成本效益以及网络带宽的可扩展性。该企业提出了三项核心需求:首先,鉴于新能源汽车市场的激烈竞争,方案必须能够尽可能缩短建设周期,以快速相应市场变化。其次智算中心建设是一个长期且成本高昂的投入,因此成本控制至关重要,方案必须确保成本效益最大化。最后,考虑到智算中心的快速迭代特性,必须关注到智算网络的扩展能力,以满足企业未来业务的持续增长和发展需求。

具体来说,在硬件配置上要选用高性能、高可靠性的服务器、存储设备、网络设备以及专业的GPU集群,以满足自动驾驶算法训练对计算能力的严苛要求。在商务成本上和训练效率的双重考量下,对现有的InfiniBand(IB)网络方案进行优化至关重要,这需要全面评估IB网络方案与其他网络方案,确保在满足性能需求的同时,最大限度地降低成本。同时,为了应对未来的技术升级和扩容需求,必须预留足够的空间和容量,以确保智算中心的技术不会迅速变得过时,从而保持其长期的竞争力和市场适应性。

如何构建高速高效的自动驾驶智算中心

经过充分的验证讨论与测试,新华三智算网络解决方案能够无缝对接客户的现有系统,并在性能、可靠性和可扩展性方面媲美IB网络的标准。因此,在众多厂商中脱颖而出。

整体智算网络方案采用存算分离的双平面网络架构,该方案核心组成包含——

  • 计算网络:由42台S9825-64D数据中心交换机组成400G无损计算网;
  • 存储网络:由12台S9820-64H数据中心交换机组成100G无损存储网,支撑17个节点UniStor CX5036G6 分布式高性能并行存储。

方案采用RoCE以太网络架构,并结合创新的二层盒盒架构设计,有效满足了首期网络建设中100台高性能GPU服务器的需求,同时也预留未来扩容的能力。更成熟、效率更好的RoCE技术架构,大幅了缩短部署周期、降低训练时间,并降低成本支出,给客户更高的投资回报率。

S9825-64D数据中心交换机吞吐量测试
S9825-64D数据中心交换机吞吐量测试

在双平面网络架构的设计中,转发平面专责网络数据的传输工作,而控制平面则承担网络管理和控制信息的处理。这种架构通过两个平面的相互备份,极大提升了网络的可靠性与安全性。一旦其中一个平面发生故障,另一个平面能够立即接管其功能,确保网络的持续运行和稳定性。与此相对,单平面网络架构将所有网络功能集中在单一平面上,没有实现控制和数据转发的分离,因此在灵活性和安全性方面存在局限。显然,双平面网络架构在保障网络稳定性和安全性方面,具有显著的优势。

模型训练效率提升11.1%,加快企业大模型开发

新华三提供的RoCE智算网络方案保持了与IB网络相当的计算性能,能够让企业处理更庞大的数据量,其低延迟和高吞吐量特性,显著缩短了企业自动驾驶模型训练时间减少了10%,同时将模型训练效率提升11.1%,并加速了业务处理速度。

400G RoCE网络,为企业未来的带宽升级提供了便利。RoCE基于以太网技术,拥有成熟且广泛的生态系统,这有利于未来技术的升级和方案的演进。预计在未来两年内,数据处理能力将提升50%,而无需进行大规模的网络架构更改。此外,预计在三年内,通过节省的运营成本和提升的业务效率,在 RoCE网络上的投资将得到回收,投资回报率有望提高10%。

从部署效率角度,尽管RoCE网络同样需要手工配置,但由于以太网技术的普及和成熟,部署时间平均缩短了15%,减少了停机时间和人力成本,从而间接节约了综合成本。与IB网络相比,RoCE通常具有更低的设备和维护成本,这在控制整体商务成本方面非常有利。由于以太网组件的普遍性,替换和维护更为经济,从项目整体核算来看,RoCE网络的维护成本比IB网络低约20%

显然,400G智算网络的引入不仅提升了自动驾驶企业算力训练的效率,还为企业的未来发展提供了强大的技术支持和成本优势。随着技术的不断进步和市场需求的不断扩大,该企业有望在全球自动驾驶市场中占据更加重要的地位,为智能出行的未来贡献力量。这一变革不仅标志着自动驾驶技术的新纪元,也为整个汽车行业的发展指明了方向。通过400G智算网络的助力,企业将能够更快地开发和部署先进的自动驾驶模型,为实现更安全、更智能的出行体验奠定坚实的基础。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2254301.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

openEuler 知:安装 GNOME 桌面

openEuler 标准版 ISO 镜像默认不带桌面安装方式,可以先用最小化方式安装系统,然后单独安装 GNOME 组来实现桌面化 dnf group install GNOME -y安装完后,将 systemd 默认 target 设置为 graphical.target systemctl set-default graphical.…

《ODIN: A Single Model for 2D and 3D Segmentation》CVPR2024

斯坦福和微软: 代码链接:ODIN: A Single Model For 2D and 3D Perception 论文链接:2401.02416 摘要 这篇论文介绍了ODIN(Omni-Dimensional INstance segmentation),一个能够同时处理2D RGB图像和3D点云…

多行为推荐-KBS 24|基于HyperGRU对比网络的短视频推荐多行为序列建模

论文:https://www.sciencedirect.com/science/article/abs/pii/S0950705124004751?via%3Dihub 关键词:短视频推荐,多行为推荐,对比学习,RNN 1 动机 这是我第一次看短视频推荐里涉及到多行为的论文,动机还…

企业网双核心交换机实现冗余和负载均衡(MSTP+VRRP)

MSTP(多生成树协议) 通过创建多个VLAN实例,将原有的STP、RSTP升级,避免单一VLAN阻塞后导致带宽的浪费,通过将VLAN数据与实例绑定,有效提升网络速率。 VRRP(虚拟路由冗余协议) 用…

图解RabbitMQ七种工作模式生产者消费者模型的补充

文章目录 1.消费者模型2.生产者-消费者模型注意事项2.1资源释放顺序问题2.2消费者的声明问题2.3虚拟机和用户的权限问题 3.七种工作模式3.1简单模式3.2工作模式3.3发布/订阅模式3.4路由模式3.5通配符模式3.6RPC通信3.7发布确认 1.消费者模型 之前学习的这个消息队列的快速上手…

制造业管理系统中ERP与MES的区别

在当今工业4.0的背景下,数字化管理已成为现代工厂不可或缺的一部分。在这一进程中,企业资源计划(ERP)系统和制造执行系统(MES)扮演着关键角色。尽管如此,许多工厂的管理者对于ERP和MES的理解仍存…

面向初学者的 Ansys Mechanical 中的接触建模

接触概述 Ansys Mechanical 中的接触建模是仿真结构不同部分在各种条件下如何相互作用的关键方面。它涉及定义表面的接触方式,即它们是接触、滑动还是分离。Ansys Mechanical 提供了广泛的接触选项来准确建模这些交互,包括粘合、摩擦和无分离接触。每个…

【C++指南】C++内存管理 深度解析

💓 博客主页:倔强的石头的CSDN主页 📝Gitee主页:倔强的石头的gitee主页 ⏩ 文章专栏:《C指南》 期待您的关注 目录 引言 一、C 内存管理概述 二、C内存区域划分 三、C 内存管理方式 🍃1.自动内存管理…

聚类算法全面解析:理论与实践结合

聚类(Clustering)是数据挖掘和机器学习中一类重要的无监督学习方法,旨在将数据划分为多个类别,使得类别内部的数据相似度高,而类别之间的数据差异较大。聚类广泛应用于图像分割、市场分析、生物信息学、文本挖掘等领域…

Python 批量剪辑视频片头片尾工具

Python 批量剪辑视频片头片尾工具 1.简介: 批量剪辑片头片尾的软件,让你的视频创作事半功倍,视频剪辑处理完成后,用户可以在指定文件夹中查看已经剪切完片头片尾的视频‌。这些工具不仅适用于个人用户进行日常的视频编辑工作&am…

大模型分类1—按应用类型

版权声明 本文原创作者:谷哥的小弟作者博客地址:http://blog.csdn.net/lfdfhl根据应用领域,大模型可分为自然语言处理、计算机视觉和多模态大模型。 1. 自然语言处理大模型(NLP) 1.1 应用领域与技术架构 自然语言处理大模型(NLP)的应用领域广泛,包括但不限于文本分类、…

保姆级教程用vite创建vue3项目并初始化添加PrimeVue UI踩坑实录

文章目录 一、什么是PrimeVue二、详细教程1.添加PrimeVue2.配置main.js3.添加自动引入4.配置vite.config.js5.创建测试页面 一、什么是PrimeVue PrimeVue 是一个用于 Vue.js 3.x 开发的一款高质量、广受欢迎的 Web UI 组件库。 官网地址:https://primevue.org/ 二、…

Go的Gin比java的Springboot更加的开箱即用?

前言 隔壁组的云计算零零后女同事,后文简称 云女士 ,非说 Go 的 Gin 框架比 Springboot 更加的开箱即用,我心想在 Java 里面 Springboot 已经打遍天下无敌手,这份底蕴岂是 Gin 能比。 但是云女士突出一个执拗,非我要…

php 系统函数 记录

PHP intval() 函数 PHP函数介绍—array_key_exists(): 检查数组中是否存在特定键名 如何使用PHP中的parse_url函数解析URL PHP is_array()函数详解,PHP判断是否为数组 PHP函数介绍:in_array()函数 strpos定义和用法 strpos() 函数查找字符串在另一字符串…

关于Chrome自动同步书签的解决办法

前言 并不一定适用所有用户, 目前我在网上搜集了一些资料,也做了一些尝试。 就我个人总结的经验来讲,分享大家以下几种办法: 1.书签同步插件 点击如下🔗: Chrome书签同步https://bm.famend.cn/ …

matrixzq:基于ℤq的纯python矩阵库

1. 引言 当希望使用纯 Python 代码对整数 q 模矩阵进行操作,以演示使用学习误差 (Learning-With-Errors,LWE) 的基于格的加密方案的一些原理时,找到了 Thom Ives 编写的优秀代码“纯 Python 中无需 Numpy 或 Scipy 的 BASIC 线性代数工具”&…

深度学习笔记——模型压缩和优化技术(蒸馏、剪枝、量化)

本文详细介绍模型训练完成后的压缩和优化技术:蒸馏、剪枝、量化。 文章目录 1. 知识蒸馏 (Knowledge Distillation)基本概念工作流程关键技术类型应用场景优势与挑战优势挑战 总结 2. 权重剪枝 (Model Pruning)基本原理二分类1. 非结构化剪枝(Unstructur…

【单片机】ESP32-S3+多TMC2209控制步进电机系列1 UART通信及无传感回零 硬件部分

目录 1. 硬件选型1.1 esp32硬件型号1.2 TMC2209 硬件型号 2 原理接线图2.1 esp32接线2.2 TMC2209接线2.2.1 单向通讯 不配置地址2.2.2 单向通讯 配置地址2.2.3 双向通讯 单UART 【本文采用】2.2.4 双向通讯 多UART 3. 成品效果 1. 硬件选型 1.1 esp32硬件型号 采用的是微雪ES…

【论文复刻】雾霾污染及ZF治理与经济高质量发展(2004-2020年)

一、数据来源: PM2.5数据根据美国哥伦比亚大学社会经济数据与应用中心提供的全球PM2.5的年均浓度数据整理计算而得,人均实际GDP是以2000年为基期进行平减处理获得的实际GDP,控制变量来自《中国城市统计年鉴》、国家统计局,内含原…

行列式计算方法

行列式(Determinant)是线性代数中一个重要的概念,用来描述方阵的一些性质,尤其是与矩阵的可逆性、特征值等有关。下面是几种常见的计算行列式的方法: 1. 2x2矩阵的行列式 对于一个2x2矩阵: 行列式计算公式…