一分钟5万个文件,分布式存储在“数字机台”场景下的应用实践

news2024/11/19 4:51:28

一、 什么是“数字机台”?

从一个普普通通的螺丝,到一台复杂精密的汽车,现代工业让数以万计的零部件在流水线上彼此组合。但复杂的分工和流程,也给各个制造环节设置了极为苛刻的标准。比如一个小小的汽车组件,就有数百种尺寸要求,在生产时每个尺寸都需要通过X、Y、Z三轴数据进行确认。如何保证这些零部件的尺寸、质量符合标准,“数字机台”由此在智能制造的创新中应运而生。

通过“数字机台”的部署,新一代生产线可以利用机器视觉技术从各个不同角度快速获取被检测产品的信息,实现自动化的装配定位、质量检测、产品识别、尺寸测量等功能,可以极大程度上提升生产的效率,并已在电子制造、半导体、新汽车制造中实现了规模化应用。但随之而来的是生产线上出现了大量小至几KB大至几十MB的文本、图片数据,这些非结构化的数据让传统存储难以应付。

二、新华三分布式存储X10000助力“数字机台”场景应用的优势解析

在数字机台中,AOI(Auto Optical Inspection,自动光学检测)是核心设备之一,一台AOI设备在一分钟时间内就能产生5万多个大小在十几K到几百K左右的小文件,同时这些小文件要被打上标签,被AI计算设备读取分析,并在后续进行全生命周期的管理。但这种独特应用场景的传统存储方式存在众多问题,比如多个客户端协议导致统一管理不便,单点故障容易导致业务中断和数据丢失等问题,并且存储需要高的可扩展性,便于应对业务增长的需求,并且要有能力做好亿级小文件的高效检索和全生命周期管理,以低成本应对海量存储的需要。

在这里插入图片描述

从上图可以看到,“数字机台”对于底层数据存储平台的需求是极其复杂和多变的,其中既包括了通用网络文件系统CIFS、文件传输协议FTP、简单存储服务S3等各种协议,让底层的存储集群疲于应对,而且在集群内部也需要处理好不同数据的传输和管理。显而易见,传统本地存储和集中式NAS存储都无法独立满足这些严格需求。
在这里插入图片描述

为什么本地存储和NAS存储都无法满足数字机台的需求

作为新华三集团自主研发的存储“代表作”,X10000存储凭借高达8192个节点的高扩展性,提供EB级的大容量存储,能够以五大亮点应对“数字机台”特定场景的高标准要求。

亮点一:统一存储,简便运维

X10000支持HDFS、S3、iSCSI、NFS、CIFS、CSI等全存储协议,基于硬盘池划分实现块、文件、对象、大数据等不同类型数据的融合部署,做到按需扩容,多集群的统一管理。

亮点二:数据安全多重保障
X10000还提供了多副本、纠删码等诸多功能保障数据实现11个9的高可靠,WORM、回收站、多版本等数据保护手段能有效避免数据丢失、损坏等风险,并能通过跨越上千公里的远程复制构建完备的容灾体系。

亮点三:读写性能全面提升
X10000打造了一个由SSD+HDD组成的 “缓存池”,智能化地处理不同IO需求,前台写小IO,并通过小IO聚合为大IO的方式提升性能加速,借助ROW无损快照将性能下降控制在5%以内,单桶20亿的性能下降控制在了10%以内。
在这里插入图片描述

亮点四:检索效率提升几十倍

X10000通过自动定时推送、自动打标签、元数据检索等用户友好型特性,实现亿级文件秒级检索,帮助企业减少人工操作,融合非结构化数据资源池,更好地利用机台数据进行质检分析,帮助提升产线产品质量,释放机台数据的业务价值。

亮点五:线性扩容,低TCO

8+2的大比例纠删,支持图片重删压缩,让数字机台在同等硬件配置下,有效磁盘空间从三副本的33%提升到了80%。而且X10000支持无缝的不停机扩容,做到性能线性增加,避免新购License提升成本。而且X10000支持硬盘一键换盘,支持热插拔,并支持自动化的文件分级存储和对象生命周期管理,能够有效提升存储效率。

在这里插入图片描述

三、落地有为,在实践中印证实力

如果说技术和参数让X10000具备承载数字机台高效运转的全能实力,那么在半导体、制造等行业中的真实应用,就给出了这一能力的实践印证。在某家国内知名的半导体企业,X10000成为了应对ADC业务数亿小文件的创新“利器”,通过小IO聚合、读写缓存、ROW等提升读写性能,并借助线性平滑扩容和大规模集群应对数据量的大幅度增长,提升生产效率。在某家全球领先的制造企业,X10000帮助其破解数据统一管理难题,以多种存储类型和协议的广泛兼容,为未来的业务增长预留创新空间,并通过EB级的扩展性和全方位的运维保障特性,提供全生命周期的数据服务。

在核心的制造业之外,X10000也在能源、汽车等行业中广泛应用。在某能源企业内,CCD机器视觉检测业务每天都会产出几百KB的小文件,并且这些文件要保证未来15年的存放和管理。为了应对这一高难度的需求,X10000通过大比例纠删冗余策略提升空间利用率,并通过自动分级和归档在满足快速访问查询的需求的同时,满足数据低成本长期存储。

四、小结

从制造到智造注定不是一个一蹴而就的过程,而是需要长期的创新探索和实践变革。在这背后,新华三以对智能存储创新的持续投入为更多行业转型场景构筑坚实有力、智能高效的数字底座,让数据这一指数级增长的生产要素在未来焕发新的价值和生命力。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1149746.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

大模型问答助手前端实现打字机效果 | 京东云技术团队

1. 背景 随着现代技术的快速发展,即时交互变得越来越重要。用户不仅希望获取信息,而且希望以更直观和实时的方式体验它。这在聊天应用程序和其他实时通信工具中尤为明显,用户习惯看到对方正在输入的提示。 ChatGPT,作为 OpenAI …

Intent与IntentFilter

在Android程序中,一般应用程序是由多个核心组件构成的。如果用户用户需要从一个Intent切换到另一个Activity,则必须使用Intent。实际上,Activity,Service和BroadcastReceiver这3种核心组件都需要使用Intent进行操作,In…

老胡的周刊(第113期)

老胡的信息周刊[1],记录这周我看到的有价值的信息,主要针对计算机领域,内容主题极大程度被我个人喜好主导。这个项目核心目的在于记录让自己有印象的信息做一个留存以及共享。 🎯 项目 bililive-go[2] Bililive-go 是一个支持多种…

数据库数据恢复—NTFS分区损坏的SqlServer数据库数据恢复案例

SqlServer数据库数据恢复环境: 一台服务器,windows操作系统NTFS文件系统,运行了12个sqlserver数据库。 SqlServer数据库故障: 根据用户描述,故障情况是工作人员误操作导致服务器硬盘上sqlserver数据库所在分区损坏。经…

堆栈与队列算法-以链表来实现堆栈

目录 堆栈与队列算法-以链表来实现堆栈 C代码 堆栈与队列算法-以链表来实现堆栈 虽然以数组结构来制作堆栈的好处是制作与设计的算法都相当简单,但若堆栈本身是变动的话,则数组大小无法事先规划声明。这时往往必须考虑使用最大可能性的数组空间&#…

sql-50练习题11-15

sql-50练习题11-15 前言数据库表结构介绍学生表课程表成绩表教师表 1-1 查询没有学全所有课程的同学的信息1-2 查询至少有一门课与学号为01的同学所学相同的同学的信息1-3 查询和1号的同学学习的课程完全相同的其他同学的信息1-4 查询没学过张三老师讲授的任一门课程的学生姓名…

软考口诀记忆

结构型的是桥代理组装适配器,享元回家装饰外观。 功适准互依安 使理学操 靠成容恢 维分改稳测 效时资 移适安一替

【JavaScript 】DOM操作快速入门

目录 1.概述 2.操作 2.1.document对象 2.2.选中元素 2.2.1.get 2.2.2.query 2.3.操作属性 2.4.添加响应 2.5.修改文本 1.概述 在Web开发中,JavaScript(JS)的DOM(Document Object Model,文档对象模型&#xf…

什么时候应该将方法声明为虚拟函数

如题,什么时候需要将一个类的方法声明为虚函数(virtual),这个问题涵盖技术和哲学两个层面。 从技术角度来说,如果你希望在运行阶段(而非编译阶段)根据对象的实际类型来调用方法时,就需要将它声明为一个虚拟函数。 但还有一个哲学…

一碗航天品质中国面:康师傅的民族传承与味道引领

在变幻莫测的食品市场,品牌要保持长久领先的秘诀,还是在品质。 在人类工业领域,堪称品质“天花板”的,“军工品质”算一个,“航天品质”则更胜一筹。 而作为行业龙头,康师傅携手中国航天事业已有7年。 硬…

品牌加盟商做信息展示预约小程序的效果如何

很多行业都有中部或头部品牌,对实体品牌企业来说想要快速高效发展,除了多地直营店外还需要招募加盟商进而提升生意营收。 因此线上渠道变得尤为重要,除了网站外,小程序是连接多平台生态很好的工具,随时打开、直接触达…

Kubernetes 概述以及Kubernetes 集群架构与组件

目录 Kubernetes概述 K8S 是什么 为什么要用 K8S K8S 的特性 Kubernetes 集群架构与组件 核心组件 Master 组件 Node 组件 ​编辑 Kubernetes 核心概念 常见的K8S按照部署方式 Kubernetes概述 K8S 是什么 K8S 的全称为 Kubernetes,Kubernetes 是一个可移植、可扩…

基于SSM的在校学习网站设计与实现

末尾获取源码 开发语言:Java Java开发工具:JDK1.8 后端框架:SSM 前端:采用JSP技术开发 数据库:MySQL5.7和Navicat管理工具结合 服务器:Tomcat8.5 开发软件:IDEA / Eclipse 是否Maven项目&#x…

代码浅析DLIO(一)---整体框架梳理

0. 简介 我们刚刚了解过DLIO的整个流程,我们发现相比于Point-LIO而言,这个方法更适合我们去学习理解,同时官方给出的结果来看DLIO的结果明显好于现在的主流方法,当然指的一提的是,这个DLIO是必须需要六轴IMU的&#x…

基于SpringBoot的二手车交易系统的设计与实现

目录 前言 一、技术栈 二、系统功能介绍 管理员功能实现 商家管理 公告信息管理 论坛管理 商家功能实现 汽车管理 汽车留言管理 论坛管理 用户功能实现 汽车信息 在线论坛 公告信息 三、核心代码 1、登录模块 2、文件上传模块 3、代码封装 前言 如今社会上各行…

中科驭数北京新址揭幕,中关村壹号热土不变

因研发和运营团队规模增长,原办公空间已不能满足需求,近日中科驭数北京中关村办公室从中关村壹号A3座搬迁至中关村壹号D2座。 中科驭数自成立以来,一直专注聚焦算力基础设施核心芯片研发,是DPU芯片领域的国家专精特新小巨人企业&…

Mybatis查树的两种写法

Mybatis查树必须会,它有两种写法: 1、联表查询。只访问一次数据库。 2、递归查询。访问多次数据库。 1、联表查询(推荐) 表结构: create table common_region (region_id int(11),pr_region_id int(11),region_name …

1300*C. Social Distance(贪心构造)

Problem - 1367C - Codeforces 解析&#xff1a; 统计出所有连续0序列&#xff0c;并且记录其左右两侧有没有1&#xff0c;然后对于四种情况分别判断即可。 #include<bits/stdc.h> using namespace std; int t,n,k; signed main(){scanf("%d",&t);while(…

Leetcode刷题详解——最小路径和

1. 题目链接&#xff1a;64. 最小路径和 2. 题目描述&#xff1a; 给定一个包含非负整数的 *m* x *n* 网格 grid &#xff0c;请找出一条从左上角到右下角的路径&#xff0c;使得路径上的数字总和为最小。 **说明&#xff1a;**每次只能向下或者向右移动一步。 示例 1&#xf…