演讲全文|林涛:MongoDB助力智能制造出海控本增效

news2024/11/24 18:58:24

请添加图片描述

5月29日-30日在上海世博中心举办的亚马逊云科技中国峰会圆满结束。本文整理了MongoDB北亚区方案与咨询总监林涛在白金讲堂的演讲全文,就《MongoDB助力智能制造出海控本增效》话题与大家共同探讨。

白金讲堂演讲视频

从全球经济竞争的角度看,中国制造业是目前竞争能力最强,也是最有活力的产业。我们的制造业企业不仅仅是布局全球,而且从我们产品出海的形态上已经逐渐呈现出了智能化、物联化、场景化的明显趋势。

对于很多制造业企业,特别是智能制造业企业来说,出海现在已经不仅是一个选择题,而是一个必答题。比如在医疗设备领域,根据业界统计,在国内上市的医疗企业里,其出海营收已接近 50% 。就像我们著名的投资者所说,在国内市场,对我们的制造业企业来说是解决吃饭的问题,但在海外市场才能解决我们吃肉的问题。

请添加图片描述

与此同时,先进的制造业企业,特别是智能制造企业,不仅仅摆脱了低端制造的印象,而且正在从以产品为中心转向以服务为中心的销售形式,甚至在MongoDB 最近接触的一些智能制造的企业里,我们看到了以产品为辅、服务为主的形式,给我们海外客户提供的不仅仅是产品,更提供行业方案的服务,而产品甚至只是服务的一个载体。不仅仅是中国制造产品的能力,企业构建服务的能力正在变得越来越关键。与此同时,为了构建这样的服务,云和基础设施的构建成本也正在变得越来越高。根据艾瑞咨询的统计,从 2022 年开始,在海外云的使用上,目前制造业在出海这个细分领域已经占到了第四,但是我们的增速实际上已经到了第二,甚至从增速的角度讲已经超过了传统的游戏或其他音视频行业的增长。

这个也并不仅仅是中国制造业企业或者是智能制造企业所面临的问题,很多行业调研报告都发现,全球的智能制造业或者说在 IoT 的应用上都面临同样的挑战。

那三个关键挑战是什么?第一个就是开发效率,因为我们出海提供服务最重要的是什么?就是能够快速的推出本地市场所需要的新服务,或者是一种新形式。同时我们要确保提供的服务不仅能够兼容我们现在既有售卖的设备,而且能够保证我们的服务能够满足未来设备的要求。

第二个就是要保证数据的安全和隐私,这个是对我们中国制造企业现在也是敏感的问题。

第三个是运营成本,这是所有制造业企业都需要面临的一个挑战,但这是一个端到端的全生命周期的成本,不仅仅是部署成本,其实还涉及到开发的成本、维护的成本,这些都需要综合的去考虑。

请添加图片描述

那么MongoDB作为数据库公司,为什么会关心或者了解这样些话题呢?主要的原因是 MongoDB 被全球众多制造业企业广泛的使用,在汽车领域,几乎全球所有知名的汽车制造商都在使用 MongoDB 作为 IoT 或者智能的服务提供商。

●在智能制造领域,思科,像西门子都在使用 MongoDB 来构建整个的物联网平台。

●在零售行业,7-11等众多零售企业也在使用 MongoDB 打造智能服务,如说电子标签等等。

●不仅仅是国外的企业,中国的智能制造企业用MongoDB的案例也非常多。

为什么众多企业都选择使用 MongoDB 来构建智能制造的应用平台,特别是选择采用部署在亚马逊云科技上的 Atlas (MongoDB托管服务)呢?主要有三个原因:
第一、MongoDB 开发速度非常快
第二、MongoDB架构简单,成本可控
第三、MongoDB能够很好地保证数据隐私和合规

请添加图片描述

除了制造业,几乎所有行业都在广泛采用MongoDB,都是因为 MongoDB 易于开发。易于开发的第一个原因是 MongoDB 的数据模型采用JSON模式,这种模型非常适用于制造业的业务场景。

举例来说,如果用传统数据库的设计理念来设计一个 IoT 或者智能制造的业务场景,比如智能光源,那首先我们需要一个表来记录智能光源的位置、是什么设备、可能用在什么地方。智能光源里有很多传感器,或者有很多不同的属性,我们就再要有一个表,来保证这个智能光源设备下面有多少个控制器,以及控制器上有多少个属性。我们还要再有一个表来记录所有的控制器上到底做了什么操作,比如做了开关、做了调整,调整的是多少。我们可能还需要有一个表去记录,这些设备上又产生了多少个事件,比如说过热、正常等等。所以我们想要搞清楚一个智能制造设备上到底发生了什么,可能需要四五张表。

请添加图片描述

但在 MongoDB 数据库里,开发者可以按照企业的业务逻辑,把所有的事件包含在一条记录上,成为一个对象,这样不管是分析和处理都可以变得更快

得益于 MongoDB 这样的特点,使MongoDB能够非常容易地支持在工业领域常用的各种数据模型:

●泛工业类用非常多AAS模型。只要企业业务对象、产品能用AAS模型表述出来,就可以直接把它变成JSON。

●在医疗行业, 医疗设备产生的数据通常用FHIR模型来表示,那么也可以直接用JSON来表示。

实际上,大家现在看到的很多 IoT 设备,产生的数据都是 JSON 的。所以用MongoDB就可以直接把它存储到数据库里,不需要做任何的转化,不需要花时间去设计这个表一定要长成什么样子、这个数据是不是要拆成三个表,都不用。你的设备产生什么数据,在 MongoDB 里直接就存什么数据就可以。

现在业界的很多数据就是 JSON 格式的。最典型的地理信息就是GEOJSON,所以这种数据可以直接存在MongoDB里,做地理位置的搜索,比如说查一查,离我最近的是谁,数据在不在地理围栏里,在MongoDB数据库上就可以直接处理了。

总之,MongoDB开发起来是特别简单的,与传统开发一个应用需要使用大量不同的数据库不同。使用MongoDB,在一个数据模型上、一个数据库上,就可以实现业界需要的大多数操作。举例来说,设备产生了数据可以直接存进MongoDB数据库里,表示出各种各样数据之间的关系、不仅可以做到ACID,而且支持事务处理、对数据任意字段的查询、地理位置搜索、全文搜索甚至向量搜索,支持现在最新的 AI 应用。

请添加图片描述

如上所介绍的都是功能上的信息,我具体给大家讲一个例子,来给大家解释一下MongoDB到底是怎么用的。例如车联网或移动设备的应用,传感器发送信息到平台,检测到事故或故障,会联系对应的车主,再找到最近的 4S 店来提供帮助,我们就以这个为例,从数据层面来看一看,可能会去涉及到哪些数据。

第一,传感器会把数据上报,这个时候就会产生需要处理时序的数据。

第二,肯定要根据这个时序数据,比如说车的ID,那这个车是什么车?对应车辆 ID 的车的配置信息是什么?

第三,联系车主,需要处理这个车跟车主之间的关系。

第四,需要提供呼叫支持,因此还需要 4S 店的信息,包括 4S 店的位置、以及店里有什么配件的信息等等。

这些都是需要处理的基础数据,那如果我们用传统的架构,实际上需要很多不同的数据的模组来支持。

比如说第一个处理是 IoT传感器上报的数据,我们可能需要用时序。

那我们上报拿到这个车辆ID,我们需要找到对应的这个车,这个车是个什么配置?哪一年出产的?我们可能需要有一张宽表。

还要找到这个车主是谁?可能需要关系型数据库的表。

还需要知道哪个4S店能支持?因此还需要 4S 店的信息。

4S店能不能支持这个车?它有没有出故障的这个配件的信息?都需要有关系型数据库来保存。

那同样的我们需要找到这个车的位置,以及对应哪个 4S 店离它最近?就需要一个地理位置信息的插件。

而且很多时候,比如说搜索配件的话,如果不是输全名,而只是输配件的一个关键字,那么这个时候又涉及到全文搜索。

实际上现在很多 AI 的应用,还要处理向量的信息,比如说需要把车辆的异响数据变成向量信息存储在数据库里,那这个时候还需要增加一个向量数据库来做 AI 的应用。

所以可以看到,虽然这个业务现在看起来很标准、而且似乎是出海必备的服务,但其实构建这个应用本身是非常复杂的,需要处理这么多不同的组件、需要开发人员开发这些组件、在组件之间移动数据,而且要做大量的ETL(Extract-Transform-Load)的工作,将来还需要构建、需要维护,其实这个对企业来说是很大的负担和挑战。

请添加图片描述

而如果用MongoDB,就可以把所有这些功能都用统一的接口、用一个数据库来实现。奔驰汽车在整个车联网的系统里,一共只有两套数据库,一套是 MongoDB,处理所有实时数据;而历史数据都是存放到Hadoop平台做历史数据分析,所以让整个开发和运维都变得非常简单。

谈到架构,就不可避免的谈到成本问题,那么 MongoDB 能够帮助大家做什么呢?首先要理解智能制造企业出海遇到的成本都有哪些主要挑战?

第一、数据量庞大。在游戏行业,一个游戏有100 万玩家就已经数据量很大了;但对智能制造企业来说,有100万个或200万个设备需要做管理,只是刚起步的一个状态。可能几TB是刚起步、几十TB是标配、上百TB非常常见。怎么处理IoT这么巨大的数据量?特别是考虑到制造业的毛利,成本能不能有效的压降,是个必须应对的问题。

第二、技术栈复杂。有那么多复杂的技术栈,从开发角度,得确保开发人员每个技术栈都得懂、运维的同事每个技术栈都得能维护、还要确保这些技术栈之间的数据互相的 ETL 都能够工作,也是一个很大的技能和成本挑战。

MongoDB 怎么做?IoT 数据,只要是JSON格式的,都可以直接存到 MongoDB ,并且在存储过程中,MongoDB 会自动地把存进的所有数据都转化成时序的存储方式,所以MongoDB可以自动地支持所有时序数据的处理,比如说用window 函数算 5 分钟平均最大、最小,然后帮你自动地去落盘。

请添加图片描述

更重要的是,MongoDB可以支持自动数据压缩,可以把数据大小从原始尺寸大概减少90%,这样可以大幅度地压缩数据的存储、降低成本。而且跟其他常见的时序数据库不同的是,MongoDB并不要求大家预先定义时序数据表。常见的时序数据库要先把字段先定下来,以后有新设备的时候就需要去修改和增加字段,就会导致停机,但是 MongoDB 是完全不需要。只要数据是JSON格式,直接存入MongoDB 就可以了。MongoDB甚至可以做到在同一个表中允许新老设备传上来的数据是不同格式的,在 MongoDB 里都可以自动的存储,这样就可以大幅减低开发量,确保新老设备都可以做到无缝的处理。至于新设备有哪些字段、老设备有哪些字段,可以在后台的程序里去进一步处理,但是MongoDB可以把它全部都收进来,非常容易,而且能实现数据的压缩。

这只是MongoDB帮助制造企业控本的第一步,也是最基础的一步。其实在 IoT 、包括智能制造的业务场景中历史数据的问题,比如血压计或血糖仪,大家关注的可能更多的是最近身体的变化情况;对两年以前,甚至 4 个月以前的数据可能不太关心、或者只是偶尔看一看。那这种情况下你可以定一个时间,比如说是一个星期、两个星期或者两个月、甚至一年,MongoDB可以做到自动的数据归档。只要你定义出这个时间,自动的就会把保存在 MongoDB 数据库的老数据移动到S3的存储上,从而大幅的降低存储的成本。

而且移到 S3 之后,应用依然可以用MongoDB 的接口访问这些历史数据的,只是它的性能会稍微降低一点,但是从成本最优的角度以及服务有效的角度上讲,这无疑是非常优化的方式,且整个过程是完全通过数据库自动来完成的,不需要人为的任何干预。开发人员要做的,只是定义多老的数据需要归档,是一周、两周还是一个月。

能不能在这个基础上再优化?答案是肯定的,因为在很多设备的场景中,有一部分数据是需要实时处理的。但有一部分数据可能只是做历史归档和统计,数据其实根本不需要进数据库了,可以直接把它放到 S3 上,因为S3是非常低成本的存储,直接把它放在 S3 上,只要格式是JSON,那么 MongoDB就可以支持用 MongoDB 的接口和查询语言直接搜索 S3 上的数据。只要开发一套接口,这些非实时的数据就可以直接在 S3 上处理掉。这样可以再次压降成本。

采用MongoDB Atlas,可以对IoT场景有哪些帮助?

第一,只要设备发送的 JSON 数据,就都可以通过 MongoDB 统一的接收和存储。不管新老数据格式是不是完全一致,都可以完全的把它接收回来,在存储的时候都实现用时序数据,在实现时序数据的分析和支持的同时又大幅地压降存储。

第二,自动实现冷热数据归档,进一步降低数据的成本。同时如果是不需要做实时分析的数据,就可以直接把它放进S3里,在S3上直接帮助大家做分析。

请添加图片描述

另外,除了实现功能以外,另一个很重要的问题是实现数据合规。数据合规对制造行业、储能行业以及医疗行业都是非常重要的,这些行业的规范和区域的规范是一定要满足的。MongoDB托管平台Atlas都可以提供全面支持。

MongoDB认为,在现在的环境下仅仅是满足基础要求,是不够的,MongoDB需要在这个基础上做更多的事情来助力客户保证隐私。除了能够做到基础数据库的落盘和传输的加密以外,其实很大的一个挑战,就是比如客户的姓名、联系方式、ID、家庭住址这些敏感信息,能不能更进一步保护客户的隐私?MongoDB是可以做到的。MongoDB可以实现字段级加密,字段在落盘的时候就是加密的,在数据库这一侧就是加密的秘文,而且密钥不是放在数据库里,而是放在客户端。这也就是说,只有掌握这个密钥,在客户端才能够把这个变成明文,除此以外都是秘文。即使你能够访问数据库,数据库里也全部是秘文。而且数据库侧,数据库管理员、厂商是没有企业的密钥的,即使企业的数据库被非授权访问了,这些信息也都是秘文;包括做数据查询的时候,实际上所查询的这些字段也是用密钥加密的;查询也是秘文查秘文,这样就可以保证数据隐私,在数据库这一侧是绝对安全的。

为什么客户会需要这样的功能?其实现在还有一个监管的要求,就是遗忘权。就是即使从数据库的角度就算我把这个数据库删了,但因为我们是放在云上的,甚至我们的数据库可能就是托管的,怎么能保证你这个数据真的被删了?你是做个删除操作,但怎么能保证这个数据真的就没有了呢?会不会被从备份上恢复呢?会不会在文件系统中被恢复?其实我们都没办法保证。但是如果我们用了字段级加密,因为密钥掌握在我们自己手里,只要我们销毁了密钥,就可以确认这些敏感的数据已经全部被销毁了,因为没有人能破解你的这些秘文。

我们看到已经越来越多的厂商应用这样的技术。MongoDB的客户之一,是全球非常知名的家庭设备制造企业,保存了大量的家庭敏感信息,包括姓名、家庭住址、联系方式,客户需要保存这些信息,才能有效管理企业设备,为客户提供卓越服务。这家客户就采用了MongoDB Atlas客户端加密的方式,所有的密钥都是保存在应用侧的,数据库侧完全没有,所有的查询都是通过密钥,以秘文查秘文,确保用户信息的绝对安全。,客户也可以删掉这个密钥,确保这些数据完全失效,满足在欧洲的非常严格的合规要求。

请添加图片描述

MongoDB正在帮助众多的中国智能制造企业出海,某医疗设备企业,借助 MongoDB 原生的时序数据,以及冷热分离方式,实现了存储成本降低67%

MongoDB 现在也在帮助众多光伏和储能的企业出海,因为MongoDB大大地简化了这些企业的技术栈,因为只需要一套数据库,MongoDB把业务发布周期短到了天,只要有业务需要,很快就可以发布出来。

点击了解更多MongoDB智能制造客户案例:

智能制造案例专题|与MongoDB一起解锁工业4.0转型与增长的无限潜力!

点击观看教程,学习如何在亚马逊云科技Marketplace上使用MongoDB Atlas:

Demo|亚马逊云科技Marketplace上的MongoDB Atlas

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1806262.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

原来你长这个样子啊,Java字节码文件

字节码文件 字节码文件是一种二进制文件,扩展名为.class 通过 javac 将源码编译得到,是一种中间形式的代码,这种中间形式的代码让Java有了“一次编译,多次运行”的跨平台特点。 字节码文件的组成 由5大组成部分:基础…

【SQLAlChemy】如何连接数据库?

使用SQLAlChemy连接数据库 导入包 首先,导入创建数据库引擎的包。 from sqlalchemy import create_engine编写数据库配置 SQLALCHEMY_DATABASE_URL "mysql://root:123456789127.0.0.1:3306/tortoise"字段解释: mysql::这是数…

Python第二语言(七、Python模块)

目录 1. 什么是模块 2. 基本语法 2.1 模块的导入方式 2.2 基本语法 import 模块名 2.3 基本语法 from 模块名 import 功能名 2.4 基本语法as 别名 3. 自定义模块 4. 调用自定义模块时,如何让其模块中的函数不被调用(__name__) 5. 调…

fl studio怎么设置中文及 2024年最新fl studio选购指南

FL Studio让你的计算机就像是全功能的录音室,漂亮的大混音盘,先进的创作工具,让你的音乐突破想象力的限制。zol提供FL Studio中文版下载。 FL Studio中文版下载软件简介 FL Studio 让你的计算机就像是全功能的录音室,漂亮的大混…

Linux的网络配置

查看网络配置命令 一、查看所有活动的网络接口信息 ifconfig ifconfig 展示的是当前设备正在工作的网卡(启动的设备) ifconfig -a 展示所有的网络设备 ifconfig ens33 查看指定网卡设备 ifconfig ens33 down 关闭网卡 或者 ifdown ens33 &#xff0…

论文阅读KAN: Kolmogorov–Arnold Networks

学习了最近大热的KAN网络 论文地址:https://arxiv.org/pdf/2404.19756 按我个人读论文的习惯总结了如下几点: 1,背景: 1)灵感来源:于Kolmogorov-Arnold表示定理,也就是多变量连续函数可以表…

大模型常用推理参数工作原理

🍎个人主页:小嗷犬的个人主页 🍊个人网站:小嗷犬的技术小站 🥭个人信条:为天地立心,为生民立命,为往圣继绝学,为万世开太平。 do_sample do_sample 参数控制是否使用采样…

戴尔R720服务器(3)组RAID

今天收到7块硬盘,现在共有8块硬盘了,找了个视频学习了怎么使用阵列卡组RAID并记录。 ​​ ‍ 视频参考:【戴尔服务器添加RAID5热备盘hotspare】 ‍ 阵列卡组RAID5 开始 连接iDRAC控制台服务器开机按F2进入BIOS选择Device Settings​ ​​…

知识图谱的应用---智能电网

文章目录 智能电网典型应用 智能电网 智能电网以物理电网为基础,将现代先进的传感测量技术、通讯技术、信息技术、计算机技术和控制技术与物理电网高度集成而形成的新型电网。它以充分满足用户对电力的需求和优化资源配置、确保电力供应的安全性、可靠性和经济性、满…

C++输入输出与IO流

C 输入输出与I/O流 文章目录 C 输入输出与I/O流IO类型与基础特性概念与特性IO状态输出缓冲区 文件输入输出文件模式 string流IO处理中常用的函数及操作符综合练习与demo一、 创建文件并写入二、控制台输入数据并拆分存储三、读写电话簿 IO类型与基础特性 C11标准提供了几种IO处…

【ArcGIS微课1000例】0117:ArcGIS中如何将kml(kmz)文件转json(geojson)?

文章目录 一、kml获取方式二、kml转图层三、图层转json一、kml获取方式 kml文件是一种很常用的数据格式,可以从谷歌地球(googleearth)获取某一个地区的kml范围文件,如青海湖(做好的kml文件可以从配套实验数据包0117.rar中获取)。 二、kml转图层 打开【KML转图层】工具,…

前端项目打包、部署的基础 (vue)

详细请看B站视频 BV19n4y1d7Gr 《禹神:前端项目部署指南,前端项目打包上线》,本博客为自用视频笔记。 目录 项目打包vue打包打包前分析项目请求 本地服务器部署问题 & 解决问题1:刷新页面404问题问题2:ajax请求废…

最新下载:PDFFactoryFinePrint【软件附加安装教程】

简介: pdfFactory是一款无须 Acrobat 创建 Adobe pdf 文件的打印机驱动程序, 提供的创建 PDF 文件的方法比其他方法更方便和高效。 pdfFactory 支持从所有应用程序轻松、可靠地创建 PDF 文件。 支持将单页或两页的文档,直接打印为PDF文件&a…

信息学奥赛初赛天天练-24-二叉树、N叉树遍历技巧与前缀表达式、中缀表达式、后缀表达式应用实战演练

PDF文档公众号回复关键字:20240609 单项选择题(共15题,每题2分,共计30分:每题有且仅有一个正确选项) 5 根节点的高度为1,一根拥有2023个节点的三叉树高度至少为( )。 A 6 B 7 C 8 D 9 8 后缀表达式 6 2 3 + - 3 8 2 / + * 2 ^ 3 + 对应的中缀表达式是( ) A ((…

[Linux]内网穿透nps

文章目录 基础文件下载项目地址下载地址 客户端安装解压文件客户端启动客户端注册到linux系统服务客户端注册到windows系统服务windows bat 一键管理员注册windows bat 一键管理员取消 基础文件下载 项目地址 https://github.com/ehang-io/nps 下载地址 Releases ehang-io…

12.打渔还是晒网

上海市计算机学会竞赛平台 | YACSYACS 是由上海市计算机学会于2019年发起的活动,旨在激发青少年对学习人工智能与算法设计的热情与兴趣,提升青少年科学素养,引导青少年投身创新发现和科研实践活动。https://www.iai.sh.cn/problem/17 题目描述 有句俗话叫“三天打渔,两天…

VBA高级应用30例应用2实现在列表框内及列表框间实现数据拖动

《VBA高级应用30例》(版权10178985),是我推出的第十套教程,教程是专门针对高级学员在学习VBA过程中提高路途上的案例展开,这套教程案例与理论结合,紧贴“实战”,并做“战术总结”,以…

AI大模型学习(非常详细)零基础入门到精通,收藏这一篇就够了

前言 随着人工智能技术的快速发展,AI大模型学习正成为一项备受关注的研究领域。为了提高模型的准确性和效率,研究者们需要具备深厚的数学基础和编程能力,并对特定领域的业务场景有深入的了解。通过不断优化模型结构和算法,AI大模…

【西瓜书】9.聚类

聚类任务是无监督学习的一种用于分类等其他任务的前驱过程,作为数据清洗,基于聚类结果训练分类模型 1.聚类性能度量(有效性指标) 分类任务的性能度量有错误率、精度、准确率P、召回率R、F1度量(P-R的调和平均)、TPR、FPR、AUC回归…

关系数据库标准查询语言-SQL-SQL语言概述

一、SQL(Structured Query Language)语言 1、是高度非过程化的语言 2、关系数据库管理系统(RDBMS)都支持SQL标准 3、具有定义、查询、更新、控制四大功能 4、数据库对象由数据库(Database)、基本表(Table)、视图(V…