日前,为了降低用户接触使用大数据技术的门槛以及成本,星环科技推出TDH社区版(Transwarp Data Hub Community Edition)来帮助企业用户、高校师生、科研机构以及其他专业开发人更简单、更便捷的进行大数据分析。为了满足更多用户在存储以及高并发点查方面的需求, 此次TDH社区版推出了星环科技自主研发的NoSQL宽表数据库Transwarp Hyperbase。
Transwarp Hyperbase介绍
Hyperbase是什么
Transwarp Hyperbase 是星环科技自主研发的NoSQL宽表数据库,支撑百万级高并发、毫秒级低延时业务需求。支持结构化数据,及文本、图像、视频、对象等非结构化数据的存储;支持全文索引、二级索引等索引技术;提供多租户管理;支持SQL标准语法,并兼容开源HBase。Hyperbase帮助用户快速开发历史数据查询、业务在线检索等应用。
为什么选择Hyperbase
关系数据库已经流行很多年,尽管Hadoop可以很好地解决大规模数据的离线批量处理问题,但是,受限于MapReduce编程框架的高延迟数据处理机制,使得Hadoop无法满足大规模数据实时处理应用的需求。
传统的通用关系型数据库无法应对在数据规模剧增时导致的系统扩展性和性能问题(分库分表也不能很好解决),很难实现横向扩展,纵向扩展的空间也比较有限。
Hyperbase能够轻易地通过在集群中增加或者减少硬件数量来实现性能的伸缩,提升集群的运行速度以及处理能力,轻松应对百万级高并发的查询业务。
不同于传统的关系型数据库,Hyperbase采用列式存储模式,每个列族都由几个文件保存,不同列族的文件是分离的,对Schema的限制很少,用户可以动态增加存储列,因此对存储半结构化数据非常有利。基于文件存储系统,进一步实现了对海量、多种类数据的存储与管理。
目前,Hyperbase已经成功应用于互联网服务和传统行业的众多在线数据分析处理系统等场景。
支持的功能
社区版针对不同模式提供相应的功能,其中订阅模式将提供全功能的Hyperbase以及更高级别的技术支持。具体支持的功能如下:
应用场景
Hyperbase具备海量结构化与非结构化数据的存储能力,通过支持超高并发CRUD,可以实现高速的数据入库。其极具优势的查询能力可以满足用户日常数据秒级查询与分析的需求,搭配社区版提供的Inceptor关系型分析引擎可以帮助用户实现离线分析,批处理等场景。
通过搭配其他星环组件还可以实现以下开发场景:
历史信息记录查询场景
电信、银行领域历史订单支付交易记录,卖家操作日志和用户转发、评论及点赞等行为记录
列式稀疏矩阵业务
智能推荐、商务智能或营销引擎等领域的用户画像,标签数据
海量用户社交信息流数据
微博、朋友圈增量捕获用户交互数据feed信息流
对象存储场景
车辆违章监控拍照、人脸信息采集保存、健康码等
注意事项
-
在下载完Hyperbase产品包后需要先提前上传Transwarp basic产品包并安装好zookeeper,yarn,hdfs服务。<Transwarp basic产品包名称:TDH-CE-ImageFiles-2022-4-final.tar>
-
当您安装部署好社区版后,manager会默认提供两周的试用License,试用License不支持Hyperbase使用。因此如果要部署社区版hyperbase,您必须在线申请社区版License。
License申请教程:https://community.transwarp.cn/question?questionId=13
总结
以上就是此次社区版Hyperbase的整体介绍。依托星环科技深厚的技术底蕴,TDH社区版旨在降低大数据技术的使用门槛以及使用成本,为用户提供更轻量、更便捷的数据分析开发环境,方便更多企业、科研机构、高校等用户快速上手大数据技术。