信创-大数据平台CPU架构支持

news2024/11/18 1:50:38

 

一、CDH和HDP、CDP

        CDP数据中心类似于CDH和HDP,直接安装在硬件服务器上,目前支持市面上主流的X86服务器,包括国内海光服务器,

CDH不支持ARM

以上两种大数据平台都仅支持x86架构,早在几年期RedHat联手cloudera公司发表声明将推出64位ARM版,据悉目前Centos7.5以上版本系统已经支持arm架构,cloudera公司产品未见推出arm机构大数据平台,且Cloudera和Hortonworks合并后的CDH和HDP版本都无法下载

基于ARM64银河麒麟V10系统(PK体系)适配安装Ambari2.7.3+HDP3.1 - 行业资讯 - 电子产品设计开发与电子技术学习交流!基于ARM64银河麒麟V10系统(PK体系)适配安装Ambari2.7.3+HDP3.1https://www.52dianzi.com/category/article/37/286439.html

二、 FusionInsight HD(华为云服务器CPU架构x86和鲲鹏区别对比及选择

智能数据湖_FusionInsight_数据湖应用场景_大数据-华为云智能数据湖FusionInsight基于Lakehouse湖仓一体架构,实现存算分离,让一份数据支持多种分析,让一个架构同时支持SQL、BI和AI。https://www.huaweicloud.com/product/FusionInsight.html

为加速政企数字化转型,助力传统大数据向云原生数据湖升级,原FusionInsight HD与华为云MRS强强结合,架构、内核归一,已全面升级到FusionInsight MRS云原生架构,将为客户提供一企一湖、一城一湖的解决方案

华为云服务器x86计算和鲲鹏计算有什么区别?x86和鲲鹏是指CPU架构的两个系列,x86采用复杂指令集(CISC),鲲鹏采用精简指令集(RISC)。云服务器吧来详细说下华为云服务器CPU架构x86计算和鲲鹏计算的区别:

华为云CPU架构x86和鲲鹏

华为云x86计算和鲲鹏计算对比

华为云服务器的CPU架构分为x86计算型和鲲鹏计算型,x86采用复杂指令集(CISC),鲲鹏采用精简指令集(RISC)。可以参考官方文档:华为云鲲鹏与X86 CPU架构文档说明。

CISC复杂指令集和RISC简单指令集

x86是典型的CISC复杂指令集代表,RISC的典型代表是ARM,二者的区别在于指令集复杂度。从硬件角度来看:

  • CISC处理的是不等长指令集,CISC必须对不等长指令进行分割,因此CISC在执行单一指令的时候需要进行较多的处理工作;
  • RISC执行的是等长精简指令集,CPU在执行指令的时候速度较快且性能稳定。

综上,在并行处理方面RISC是优于CISC的,RISC可以同时执行多条指令,RISC精简指令集的制造工艺简单价格便宜。Windows是基于CISC的,所以CISC复杂指令集更被我们所熟知。

三、阿里云ODPS(dataworks、MaxCompute)

阿里云大数据_数据分析_ODPS_大数据-阿里云阿里云大数据是简单、易用、全托管的云原生大数据服务。核心产品阿里云一体化大数据智能计算平台ODPS(Open Data Platform and Service),自09年开始建设至今,提供离线计算、实时交互式分析、机器学习等可扩展的智能计算引擎。是目前中国唯一自研,规模最大,能同时支持超过10万台服务器并行计算的大数据平台。https://www.aliyun.com/product/bigdata/apsarabigdata

阿里云宣布全面兼容X86、ARM、RISC-V等多种芯片架构

在2021云峰会上,阿里云宣布:飞天操作系统正在全面兼容X86、ARM、RISC-V等多种芯片架构,实现“一云多芯”。

阿里云智能总裁张建锋表示,传统IT时代围绕芯片建立IT生态,但云计算从根本上改变了这一模式,云操作系统可以将服务器芯片、专用芯片等硬件封装成标准算力,无论底层芯片是X86、ARM、RISC-V还是硬件加速,给客户提供的都是标准的、高质量的云计算服务。

据悉,飞天是由阿里自研的云计算操作系统。一云多芯的实现,是阿里云“做深基础”战略的重要进展。这意味着阿里云不再依赖单一芯片架构,未来拥有更多可能性。

支持多种硬件平台。满足企业上云需求,支持多种硬件平台。除了支持传统X86平台,也应当兼容ARM平台,同时支持利用GPU、FPGA等新兴硬件进行加速。

• 极致性价比。充分利用硬件性能,精选最佳算法和算子实现,提升硬件执行效率。对于密集、复杂的计算,使用特殊算法特殊硬件来提升效率。

• SQL 兼容性高。高度兼容现有的SQL标准、优化器标准、存储标准,减少用户的迁移难度和学习难度。用户无需改写SQL,无需重新学习优化技术,无需迁移数据,仅需要进行小版本软件升级,即可享受到最新的性能优化技术。

阿里云的体系架构、技术架构(云计算 & 大数据)(42页)-原创力文档

四、星环科技 TDH大数据平台

TDH是星环科技自主研发的企业级一站式多模型大数据基础平台,兼容X86、ARM

TDH采用“四层统一的多模型技术架构”,包括了11款核心产品:实时流计算引擎Slipstream、关系型分析引擎Inceptor、宽表数据库Hyperbase、搜索引擎Scope、文档数据库DocStore、图数据库StellarDB、时空数据库Spacture、时序数据库TimeLyre、键值数据库KeyByte、事件存储库Event Store、数据科学平台Sophon Discover,能够满足用户不同应用场景的需求。同时配套Aquila Insight、Manager、Audit、Guardian等工具,使TDH的安装、管理、开发、运维、升级十分便捷,给用户带来极致的开发和运维体验。

百度安全验证https://baijiahao.baidu.com/s?id=1736770562489571354&wfr=spider&for=pc

数仓/数集场景下,星环科技TDH结合Arm服务器平台较开源大数据软件部署在X86平台的测试结果平均领先幅度较大

 五、腾讯大数据云平台TBDS

2021腾讯云首款ARM架构实例重磅发布

在此背景下,腾讯云重磅推出搭载 ARM 架构处理器的新一代 CVM 标准型 SR1,并于即日起正式开启公测!标准型实例 SR1 搭载主频达 2.8GHz 的 Ampere® Altra® 处理器,基于全新优化虚拟化平台,提供了平衡、稳定的计算、内存和网络资源。

搭载了 ARM 处理器的云服务器性能究竟如何?和常见的 X86 云服务器有哪些区别?用数据说话,深度了解更有「升」度的 ARM 云服务器

腾讯云全新 ARM 架构实例,有「升」度 - 知乎随着人工智能、云计算等技术的兴起,5G 网络的不断成熟,万物互联的时代应用需求日益多样化的同时,对于芯片架构的需求也越来越多样化。ARM 架构在提供可靠性能的基础上,低功耗、低开销的特点使得它被越来越广泛…https://zhuanlan.zhihu.com/p/448990046?utm_id=0

六、百度智能云大数据产品

百度安全验证https://baijiahao.baidu.com/s?id=1713934353483471735&wfr=spider&for=pc企业级托管大数据平台-百度智能云

数据湖管理与分析平台EDAP_数据分析_数据开发-百度智能云

七、天翼云

多云部署

大数据平台支持常见基于X86架构的服务器,基于ARM架构的国产鲲鹏服务器,也支持基于虚拟机部署,同时支持鲲鹏与X86混合部署,满足公有云、专有云、混合云、边缘云部署要求。

天翼云工业大数据解决方案-打造资源富集、应用繁荣、产业进步、治理有序的工业大数据生态 - TOP云通过促进工业数据汇聚共享、深化数据融合创新、提升数据治理能力、加强数据安全管理,打造资源富集、应用繁荣、产业进步、治理有序的工业大数据生态体系。https://topyun.vip/index.php/news/content/420.html

基于ARM64银河麒麟V10系统(PK体系)适配安装Ambari2.7.3+HDP3.1

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/654697.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

【备战秋招】每日一题:4月29日美团春招第一题:题面+题目思路 + C++/python/js/Go/java带注释

为了更好的阅读体检,为了更好的阅读体检,,可以查看我的算法学习博客第一题-选修课 在线评测链接:P1266 题目内容 某大学一共有 n 门课程,编号为 1 ~ n , m 个学院,编号为1 ~ m 。最近开学季,…

剑指 Offer 53 - II: 0~n-1中缺失的数字

看到这道题的第一反应就是二分查找,由于是递增的所以二分查找所需的时间很短 ,设置一个左,一个右,一个中间,如果判断吧不同需要想下前面是否一样,如果是那么就找到,不是再继续二分查找。 我的思…

【redis】redis的5种数据结构及其底层实现原理

文章目录 redis中的数据结构redis数据结构底层实现stringlisthashsetintset字典 zset跳表插入删除过程 redis中的数据结构 Redis支持五种数据类型:string(字符串),hash(哈希),list(…

小波变换之pycwt (python)

小波变换之pycwt PyCWT是用于连续小波谱分析的Python模块,它包括小波变换和FFT算法统计分析的常规操作的集合。此外,该模块还包括交叉小波变换、小波相干性测试和样例脚本。 该模块需要NumPy和SciPy,matplotlib模块。 pip安装:…

SSMP整合案例(1) 构建 Spring Boot Vue MySql项目环境

前面 我们通过 java springboot整合MyBatis做数据库查询操作 java springboot整合MyBatis-Plus 多用点Plus支持一下国人开发的东西吧 java springboot整合Druid数据源配置 大体熟悉了springboot正好第三方应用的操作 那么 我们就来写一个 基于springboot的SSMP整合案例 其实就…

MongoDB快速实战与基本原理-1

一、MongoDB介绍 1、什么是MongoDB MongoDB是 一个文档数据库(以 JSON 为数据模型) ,由C语言编写,旨在 为 WEB应用提供可扩展的高性能数据存储解决方案。 文档来自于“ JSON Document”,并非我们一般理解的 PDF&am…

人机交互学习-8 交互设计模型与理论

交互设计模型与理论 预测模型GOMS模型GOMS全称GoalsOperatorsMethodsSelection Rules 举例GOMS方法步骤GOMS模型分析 击键层次模型操作符使用方法放置M操作符的启发规则KLM分析KLM应用 Fitts定律三个指标a,b的确定说明Fitts定律建议Fitts定律应用 动态特性建模状态转移网三态模…

牛客网基础语法61~70题

牛客网基础语法61~70题😘😘😘 💫前言:今天是咱们第七期刷牛客网上的题目。 💫目标:可以掌握循环嵌套,逻辑思维更加清晰,对循环知识掌握熟练。 💫鸡汤&#xf…

dp算法篇Day5

"生予希望,生予微光,生予一切无常" 21、乘积最大子数组 (1) 题目解析 一个正数,需要和正数相乘才能得到一个大的乘积,反之一个负数,需要和一个负数做乘积,才能 得到一个大的乘积。 解决子数组问…

Springboot程序开启远程DEBUG

一、远程debug的原理 Spring Boot程序远程debug的原理主要是通过在启动时指定JVM参数来启用远程调试模式,并在调试器中连接到程序所在的调试地址,从而实现对程序的远程调试。 具体步骤如下: 在运行Spring Boot程序时,在启动命令…

强化学习DDPG:Deep Deterministic Policy Gradient解读

1. DDPG DDPG方法相比于传统的PG算法,主要有三点改进: A. off-policy策略 传统PG算法一般是采用on-policy方法,其将整体强化学习过程分为多个epoch,在每个epoch完成一次policy模型和value模型更新,同时在每轮epoch都…

【Java高级语法】(五)字符串操作类String:几乎每天都会用到的String类,你还在踩坑吗?~

Java高级语法详解之字符串操作类String :one: 概念:two: 使用2.1 创建字符串对象2.2 字符串的比较2.3 字符串长度2.4 字符串连接2.5 字符串截取2.6 字符串的查找和替换2.7 字符串的切割和拆分2.8 字符串和其他类型的转换2.9 字符串的格式化2.10 字符串的判断2.11 手动入池2.12 …

202319读书笔记|《春之海终日优哉游哉:谢芜村俳句300》——远山峡谷间樱花绽放,宇宙在其中

202319读书笔记|《春之海终日优哉游哉:谢芜村俳句300》——远山峡谷间樱花绽放,宇宙在其中 与谢芜村,小林一茶,芭蕉,与谢野晶子,俳句都很赞,虽多本书中略有重复,但多多观…

【备战秋招】每日一题:4月15日美团春招第一题:题面+题目思路 + C++/python/js/Go/java带注释

为了更好的阅读体检,为了更好的阅读体检,,可以查看我的算法学习博客第一题-字符串前缀 在线评测链接:P1235 题目内容 塔子哥是一名优秀的软件工程师,他的公司最近接到了一个新项目,需要在短时间内实现一个新的字符串…

微服务 springcloud 09.整合feign到项目一个子服务中

01.项目结构如下&#xff1a; 02.修改sp04-orderservice项目&#xff0c;添加feign&#xff0c;调用item service和user service 1.sp04-orderservice项目的pom.xml 添加以下依赖: actuator feign hystrix <?xml version"1.0" encoding"UTF-8"?>…

全链路压测演进之迭代式压测

目录 1.背景原因 2.压测流程改进分析 3.迭代式压测流程 4.全流程压测模式演进 5.压测模式对比 6.迭代式压测反馈效果 7.总结 1.背景原因 !! 做系统服务压测都是比较耗时耗人力的&#xff0c;特别是在生产环境上做压测&#xff0c;压测的时间都是在晚上23点后&#xff0c…

Linux之线程安全(上)

文章目录 前言一、预备知识1.线程的ID2.局部存储的验证3.线程的封装 二、线程安全问题1.抢票程序2.问题分析 三、Linux线程互斥1.概念临界资源临界区互斥原子性 2.互斥量概念接口 3.mutex的使用全局锁的使用局部锁的使用 总结 前言 本文从一个模拟生活中的抢票程序的例子引入线…

经典的设计模式22——职责链模式

文章目录 职责链模式 老感觉职责链模式和状态模式有点像&#xff0c;好像都能实现请假流程。百度来一波。 真是巧了&#xff0c;职责链&#xff0c;状态&#xff0c;策略&#xff0c;则三个长得好像。 职责链模式 定义&#xff1a; 使多个对象都有机会处理请求&#xff0c;从…

循环神经网络RNN用于分类任务

RNN是一类拥有隐藏状态&#xff0c;允许以前的输出可用于当前输入的神经网络&#xff0c; 输入一个序列&#xff0c;对于序列中的每个元素与前一个元素的隐藏状态一起作为RNN的输入&#xff0c;通过计算当前的输出和隐藏状态。当前的影藏状态作为下一个单元的输入... RNN的种类…

AMEYA:如何设计好DC-DC电源,注意事项有哪些

DC-DC变换器&#xff08;DC-DC converter&#xff09;是指在直流电路中将一个电压值的电能变为另一个电压值的电能的装置。DC-DC的layout非常重要&#xff0c;会直接影响到产品的稳定性与EMI效果。 DC-DC电源几点经验以及规则 1、处理好反馈环&#xff0c;反馈线不要走肖特基下…