bboss 流批一体化框架 与 数据采集 ETL

news2024/11/28 22:52:31

数据采集 ETL 与 流批一体化框架

特性: 高效、稳定、快速、安全

bboss 是一个基于开源协议 Apache License 发布的开源项目,主要由以下三部分构成:

  • Elasticsearch Highlevel Java Restclient , 一个高性能高兼容性的Elasticsearch/Opensearch java 客户端框架
  • 数据采集同步 ETL ,一个基于 java 语言实现数据采集作业的强大 ETL 工具,提供丰富的输入插件和输出插件,可以基于插件规范轻松扩展新的输入插件和输出插件
  • 流批一体化计算框架,提供灵活的数据指标统计计算流批一体化处理功能的简易框架,可以结合数据采集同步 ETL 工具,实现数据流处理和批处理计算,亦可以独立使用;计算结果可以保存到各种关系数据库、分布式数据仓库 Elasticsearch、Clickhouse 等,特别适用于数据体量和规模不大的企业级数据分析计算场景,具有成本低、见效快、易运维等特点,助力企业降本增效

参考文档

https://esdoc.bbossgroups.com/#/db-es-tool

bboss ETL 插件使用指南

https://esdoc.bbossgroups.com/#/datatran-plugins

bboss 详细介绍文档

https://esdoc.bbossgroups.com/#/README

bboss 实战视频

Elasticsearch Bboss Stream ETL 介绍视频

实时采集 Mysql binlog 增删改数据视频教程

bboss 流批一体化计算入门教程

Elasticsearch 导出 Excel 文件,按记录数切割 Excel 文件,解决单个文件导出数量过大问题

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/992208.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Python中的异常处理3-2

在《Python中的异常处理3-1》中提到,用except可以捕获所有的异常。实际上,在程序运行的过程中,出现异常的原因有很多,比如下标超出范围、除数为0、变量未定义等。 1 except语句加上具体的异常类型 可以在except语句之后加上具体…

基于jeecg-boot集成luckysheet记录

1、放在public下面&#xff0c;开始用下面的&#xff0c;会报错&#xff0c;找不到相应的js文件&#xff0c; <!-- luckysheet for bigscreen --><link relstylesheet href./luckysheet/plugins/css/pluginsCss.css /><link relstylesheet href./luckysheet/pl…

echarts根据x轴数据长度判断是否倾斜展示/柱状图上方显示数字

showChart1() { // 通过id初始化let chart1 echarts.init(document.getElementById(this.idName))var option {// 到容器的距离grid: {top: 18,left: 0,right: 4,bottom: 0,},xAxis: [{type: category,data: this.xData,axisLine: {lineStyle: {color: rgba(255, 255, 255, .…

vscode编辑器一些设置项

vscode编辑器一些设置项 1、工具栏放置位置&#xff08;左侧/右侧&#xff09; 1、工具栏放置位置&#xff08;左侧/右侧&#xff09; 如果这个配置为“hidden”&#xff0c;那么就是隐藏了左侧工具栏&#xff0c;需要将其改为“left”或者“right”即可。 那么在哪里设置呢&am…

运动跑步耳机哪个牌子好、值得推荐的运动耳机

作为一位热衷于运动的爱好者&#xff0c;对于运动装备的要求十分严格。家里有很多手环和跑鞋&#xff0c;但在跑步时最喜欢的是听歌。一首好曲子能够改善跑步体验&#xff0c;延缓疲劳感。当然&#xff0c;并非所有的耳机都适合运动使用&#xff0c;选择运动耳机时需要考虑到运…

【PythonGIS】矢量数据投影转换(坐标转换)

之前跟大家分享过面矢量数据投影转换和点矢量数据投影转换&#xff0c;但博主在日常工作的过程中发现之前分享的面矢量数据投影转换有时候会出现错误&#xff0c;或者转换后的效果不好。再一次偶然的过程中发现了新的坐标转换&#xff08;投影转换&#xff09;函数&#xff0c;…

【linux】进程优先级,进程切换

进程 1.进程优先级&#xff08;了解&#xff09;2.进程切换 1.进程优先级&#xff08;了解&#xff09; 1.什么叫做进程优先级&#xff1f; 我们知道权限是能还是不能做的问题&#xff0c;那对应的优先级就是能做&#xff0c;但是是先做还是后做的问题。 2.为什么存在优先级…

vite项目启动use `--host` to expose

Vite 启动项目后&#xff0c;发现只有localhost 端口 服务&#xff0c;没有 IP 端口服务。 运行npm run serve&#xff0c;终端提示Vite启动后提示Network: use ‘–host’ to expose。 在vite.config.js中配置server import {defineConfig } from vite import vue from vi…

MySQL学习5:事务、存储引擎

事务 简介 事务是一组数据库操作的执行单元&#xff0c;它要么完全执行&#xff0c;要么完全不执行。事务是确保数据库中的数据一致性和完整性的重要机制之一。 事务具有以下四个特性&#xff08;称为ACID特性&#xff09;&#xff1a; 原子性&#xff08;Atomicity&#xf…

Discourse 能支持多少数量的主题

支持主题的数量和 ID 使用的数据类型有关。 根据我们从 Discourse 上 dump 出来的 SQL&#xff0c;我们看到 Discourse 的官方使用 Integer 作为 ID 的数据类型。 随后&#xff0c;我们查看了 pgsql 的官方文档&#xff0c;integer 是 4 字节的&#xff0c;能够存储的最大值为…

智能合约安全分析,假充值攻击如何突破交易所的防御?

智能合约安全分析&#xff0c;假充值攻击如何突破交易所的防御&#xff1f; 引言 假充值攻击&#xff0c;是指攻击者通过利用交易所在处理充值过程中的漏洞或系统错误&#xff0c;发送伪造的交易信息到交易所钱包地址&#xff0c;这些伪造的交易信息被交易所误认为是真实的充值…

系统架构设计师(第二版)学习笔记----计算机网络

【原文链接】系统架构设计师&#xff08;第二版&#xff09;学习笔记----计算机网络 文章目录 一、计算机网络的基本概念1.1 计算机网络的发展阶段1.2 计算机网络的功能1.3 计算机网络的性能指标1.4 计算机网络的非性能指标 二、通信技术2.1 发信机的信号处理流程2.2 收信机的信…

运维经验记录 在CentOS上挂载Windows共享磁盘

1、需求&#xff1a; 非root用户&#xff08;普通用户&#xff09;能够读写windows共享目录&#xff0c;比如查看文件、创建文件、修改文件、删除文件 # 让普通用户也可以正常读写 uidvalue and gidvalue Set the owner and group of the root of the file system (default: …

再谈内存分配器的优缺点

结论 在频繁申请、释放内存的工作场景&#xff0c;建议需要考虑定制化的内存分配器Allocator 优点 那么用内存分配器有那些好处呢&#xff1f;在近段研究和积累看来&#xff0c;主要有以下几点&#xff1a; 拥有连续内存的访问优势较浅的申请、释放栈访问深度&#xff1b;甚…

攻防世界-WEB-upload1

打开靶机上传文件 必须上传图片&#xff0c;F12审计一下代码 发现校验代码 一句话木马&#xff0c;使用菜刀连接 通过bp修改文件类型 get成功&#xff0c;证明文件已经上传 修改POST请求 得到上传成功的文件&#xff0c;请求文件名 得到flag cyberpeace{5a97279c34e62…

The timestamp difference between admin and executor exceeds the limit.解决办法

前言&#xff1a; 使用xxjob报错了&#xff0c;图文如下&#xff1a; 2023-09-09 10:28:54 [com.xxl.job.core.thread.JobThread#run]-[127]-[Thread-191] ----------- xxl-job job execute start ----------- ----------- Param: 2023-09-09 10:28:54 [com.xxl.job.core.thre…

企业架构LNMP学习笔记27

Keepalived的配置补充&#xff1a; 脑裂&#xff08;裂脑&#xff09;&#xff1a;vip出现在了多台机器上。网络不通畅&#xff0c;禁用了数据包&#xff0c;主备服务器没法通讯&#xff0c;造成备服务器认为主服务器不可用&#xff0c;绑定VIP&#xff0c;主服务器VIP不会释放…

安卓如何设置开机启动某个程序?init.rc给你搞定

一、如何设置开机启动某个程序&#xff1f; 1.需求描述 最近有个项目需要在Android开机启动之后&#xff0c;自动执行一个C语言编写的程序&#xff1a;pengd 该程序运行时需要修改网络ip地址及其他网络操作&#xff0c;所以需要root权限 根据需求描述&#xff0c;我们需要做…

算法-88.合并两个有序数组-简单

给你两个按 非递减顺序 排列的整数数组 nums1 和 nums2&#xff0c;另有两个整数 m 和 n &#xff0c;分别表示 nums1 和 nums2 中的元素数目。 请你 合并 nums2 到 nums1 中&#xff0c;使合并后的数组同样按 非递减顺序 排列。 注意&#xff1a;最终&#xff0c;合并后数组…

【Idea】IntelliJ IDEA 2023版本,.java文件报 no scalac found to compile scala sources问题

maven install没问题&#xff0c;新版本idea中编译则报错。 原因应该是新旧版本对Scala Compiler的调用逻辑有差异。造成的&#xff0c;因为同样的工程&#xff0c;在旧版本里可以正常编译。 解决方法 Settings > Build, Execution, Deployment > Compiler > Scala…