移远通信边缘计算模组成功运行DeepSeek模型,以领先的工程能力加速端侧AI落地

news2025/2/21 8:26:23

近日,国产大模型DeepSeek凭借其“开源开放、高效推理、端侧友好”的核心优势,迅速风靡全球。移远通信基于边缘计算模组SG885G,已成功实现DeepSeek模型的稳定运行,并完成了针对性微调。

目前,该模型正在多款智能终端上进行深入测试与优化。移远通信将凭借其卓越的工程化能力,加速端侧AI技术在各行各业的规模化应用与普及。

DeepSeekAI模型创新先锋

DeepSeek之所以火爆全球,源于其在模型架构、蒸馏技术以及强化学习等方面的突破性创新。

完整版DeepSeek-V3模型采用创新的MoE(混合专家)架构,拥有6,710亿参数,每秒可处理60个Token,擅长处理长文档分析、多模态推理等复杂任务和高精度场景。其每层包含256个路由专家和1个共享专家,每个Token仅激活8个专家,极大地提升了学习效率和灵活性,显著降低了训练和推理成本,同时加速了Tokens生成。

为解决小推理模型Self-play学习的不足,DeepSeek-R1通过高效蒸馏技术,将大模型的推理能力迁移到更小、更高效的版本中。这一突破使其小尺寸版本在保持卓越性能的同时,显著降低了模型体积和计算资源需求,成为端侧部署的理想选择。

同时,DeepSeek-R1-Zero实验性版本证明了仅通过强化学习(Reinforcement Learning,RL)、无需监督式微调,大模型也能具备强大的推理能力,为AI模型的训练开辟了新思路。

DeepSeek小尺寸版本:端侧部署的理想选择

DeepSeek-R1版本专注于强化学习技术路线,推理能力强、性价比突出,基于该版本开发的系列小尺寸蒸馏模型,参数范围覆盖1.5B至70B,为开发者提供了高性能、低成本的大模型部署与开发解决方案,将有力推动端侧AI的商业化应用。

简化后的小模型从大模型中继承了强大的AI能力,尽管参数量减少,但性能依然出色。由于计算量大幅降低,减少了内存和计算资源的消耗,因此特别适合资源有限的端侧设备。同时,推理速度显著提升,能够满足端侧设备对实时性的需求。此外,小模型体积更小,适配性更强,更容易在各种行业终端和边缘计算设备上集成和运行。尽管模型压缩,但通过蒸馏技术,小模型仍能保持较高的精度,确保任务效果不受影响。

移远通信:以领先的工程能力加速端侧AI落地

在众多厂商仍在探索如何支持DeepSeek模型之际,移远通信已率先取得突破,其搭载高通QCS8550平台的边缘计算模组SG885G,成功实现了DeepSeek-R1蒸馏小模型的稳定运行。实测数据显示,其生成Tokens的速度超过每秒40个Tokens,且未来随着性能的不断优化,速度还将进一步提升,为智能终端设备带来更强大的AI能力。

同时,移远通信还与行业合作伙伴紧密合作,在机器人、智能座舱、智能工业等客户应用上开展深入测试与优化,为用户提供更为流畅的AI体验。

搭载DeepSeek模型的移远边缘计算模组和解决方案,不仅适用于消费类和工业类机器人领域,还可广泛应用于智能座舱、机器视觉、个性化虚拟助理、平板电脑、老人监护、智能家居、AI玩具及可穿戴设备等多元化场景,为各行业提供强大的AI赋能,例如更自然的语音交互、更精准的图像识别以及更加个性化的服务体验。

此外,在成功实现DeepSeek模型端侧运行的基础上,移远通信还完成了该模型的针对性微调,并应用于自身的大模型解决方案中,为客户提供更精准、更高效的端侧AI服务。这一成果不仅彰显了移远通信在端侧AI领域的技术实力,更体现了其领先的工程化能力,将有力推动AIoT应用的快速发展与落地。

面向亟待接入AI能力的广泛垂直领域,移远通信将持续投入资源,推动更多高、中、入门级边缘计算模组,以及智能座舱、5G、LTE模组和解决方案全面接入DeepSeek等先进模型以及云端大模型,助力物联网设备实现智能化升级,开启万物智联新时代。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2298995.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

rust学习一、入门之搭建简单开发环境

1、搭建开发环境(windows11) a.登录官网 一看就明白,此处略。 b.安装rustup 一看就明白,此处略。 c.安装 cargo script 或者 rust-script script cargo install cargo-script 完成后 注意:时间有一点点久。 测试 cargo s…

FANUC机器人示教器中如何显示或关闭寄存器或IO的注释信息?

FANUC机器人示教器中如何显示或关闭寄存器或IO的注释信息? 如下图所示,我们打开一个子程序,可以看到程序中的寄存器和IO是显示注释信息的, 如果想关闭注释显示的话,怎么设置? 如下图所示,按下下一页的箭头(NEXT键), 如下图所示,点击“编辑”,在弹出的窗口中,选择“…

在springboot加vue项目中加入图形验证码

后端 首先先要创建一个CaptchaController的类,可以在下面的代码中看到 在getCaptcha的方法里面写好了生成随机的4位小写字母或数字的验证码,然后通过BufferedImage类变为图片,顺便加上了干扰线。之后把图片转为Base64编码方便传给前端 为了…

23. AI-大语言模型

文章目录 前言一、LLM1. 简介2. 工作原理和结构3. 应用场景4. 最新研究进展5. 比较 二、Transformer架构1. 简介2. 基本原理和结构3. 应用场景4. 最新进展 三、开源1. 开源概念2. 开源模式3. 模型权重 四、再谈DeepSeek 前言 AI‌ 一、LLM LLM(Large Language Mod…

Spring Cloud-Sentinel

Sentinel服务熔断与限流 Sentinel 是面向分布式、多语言异构化服务架构的流量治理组件,主要以流量为切入点,从流量控制、流量路由、熔断降级、系统自适应保护等多个维度来帮助用户保障微服务的稳定性。 官网地址:home | Sentinelhttps://sen…

Java中使用EasyExcel

Java中使用EasyExcel 文章目录 Java中使用EasyExcel一:EasyExcel介绍1.1、核心函数导入数据导出数据 1.2、项目实际应用导入数据导出数据 1.3、相关注解ExcelProperty作用示例 二:EasyExcel使用2.1、导入功能2.2、导出功能 三:EasyExcel完整代…

建筑兔零基础自学python记录18|实战人脸识别项目——视频检测07

本次要学视频检测,我们先回顾一下图片的人脸检测建筑兔零基础自学python记录16|实战人脸识别项目——人脸检测05-CSDN博客 我们先把上文中代码复制出来,保留红框的部分。 ​ 然后我们来看一下源代码: import cv2 as cvdef face_detect_demo(…

自定义基座实时采集uniapp日志

自定义基座实时采集uniapp日志 打测试包给远端现场(测试/客户)实际测试时也能实时看到日志了,也有代码行数显示。 流程设计 #mermaid-svg-1I5W9r1DU4xUsaTF {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid…

AI知识库 - Cherry Studio

1 引言: 最近 DeepSeek 很火啊,想必大家都知道,DeepSeek 这个开源的模型出来后,因其高质量能力和R1 的思维链引发了大家本地部署的热潮。我也不例外,本地部署了一个 14B 的模型,然后把,感觉傻傻…

20250213 隨筆 雪花算法

雪花算法(Snowflake Algorithm) 雪花算法(Snowflake) 是 Twitter 在 2010 年開發的一種 分布式唯一 ID 生成算法,它可以在 高併發場景下快速生成全局唯一的 64-bit 長整型 ID,且不依賴資料庫,具…

(前端基础)HTML(一)

前提 W3C:World Wide Web Consortium(万维网联盟) Web技术领域最权威和具有影响力的国际中立性技术标准机构 其中标准包括:机构化标准语言(HTML、XML) 表现标准语言(CSS) 行为标准&#xf…

pdf.js默认显示侧边栏和默认手形工具

文章目录 默认显示侧边栏(切换侧栏)默认手形工具(手型工具) 大部分的都是在viewer.mjs中的const defaultOptions 变量设置默认值,可以使用数字也可以使用他们对应的变量枚举值 默认显示侧边栏(切换侧栏) 在viewer.mjs中找到defaultOptions,大概在732行,或则搜索sidebarViewOn…

学习总结三十三

括号序列 如果它是一个右括号,考察它与它左侧离它最近的未匹配的的左括号。如果该括号与之对应(即小括号匹配小括号,中括号匹配中括号),则将二者配对。简单理解,找到一个右括号,向左找一个左括号…

解决DeepSeek服务器繁忙问题

目录 解决DeepSeek服务器繁忙问题 一、用户端即时优化方案 二、高级技术方案 三、替代方案与平替工具(最推荐简单好用) 四、系统层建议与官方动态 用加速器本地部署DeepSeek 使用加速器本地部署DeepSeek的完整指南 一、核心原理与工具选择 二、…

Huatuo热更新--安装HybridCLR

1.自行安装unity编辑器 支持2019.4.x、2020.3.x、2021.3.x、2022.3.x 中任一版本。推荐安装2019.4.40、2020.3.26、2021.3.x、2022.3.x版本。 根据你打包的目标平台,安装过程中选择必要模块。如果打包Android或iOS,直接选择相应模块即可。如果你想打包…

flink cdc2.2.1同步postgresql表

目录 简要说明前置条件maven依赖样例代码 简要说明 在flink1.14.4 和 flink cdc2.2.1下,采用flink sql方式,postgresql同步表数据,本文采用的是上传jar包,利用flink REST api的方式进行sql执行。 前置条件 1.开启logical 确保你…

纪念日倒数日项目的实现-【纪念时刻-时光集】

纪念日/倒数日项目的实现## 一个练手的小项目,uniappnodemysql七牛云。 在如今快节奏的生活里,大家都忙忙碌碌,那些具有特殊意义的日子一不小心就容易被遗忘。今天,想给各位分享一个“纪念日”项目。 【纪念时刻-时光集】 一…

WPF的MVVMLight框架

在NuGet中引入该库&#xff1a; MVVMLight框架中的命令模式的使用&#xff1a; <StackPanel><TextBox Text"{Binding Name}"/><TextBox Text"{Binding Title}"/><Button Content"点我" Command"{Binding ShowCommand…

DeepSeek从入门到精通(清华大学)

​ DeepSeek是一款融合自然语言处理与深度学习技术的全能型AI助手&#xff0c;具备知识问答、数据分析、编程辅助、创意生成等多项核心能力。作为多模态智能系统&#xff0c;它不仅支持文本交互&#xff0c;还可处理文件、图像、代码等多种格式输入&#xff0c;其知识库更新至2…

【DeepSeek】DeepSeek R1 本地windows部署(Ollama+Docker+OpenWebUI)

1、背景&#xff1a; 2025年1月&#xff0c;DeepSeek 正式发布 DeepSeek-R1 推理大模型。DeepSeek-R1 因其成本价格低廉&#xff0c;性能卓越&#xff0c;在 AI 行业引起了广泛关注。DeepSeek 提供了多种使用方式&#xff0c;满足不同用户的需求和场景。本地部署在数据安全、性…