【Apache Pinot】简单聊聊前面没讲的 Deep Store 和 Cluster

news2024/11/18 13:28:08

背景

前面3篇文章讲解了 Pinot 用的最多的几个组件,现在就聊最后剩下的两个,一个是 Cluster,另外一个就是 Deep Store。

Cluster

其实 Cluster 比较简单,就是一个概念的集合,他说有 Server,Broker 和 Controller 组成的。

在这里插入图片描述
我们已经在第一章篇文章里面大概讲述了每个节点的作用和每个节点相互工作的。

Minion

根据我跟开发者的聊天下来,发现这个功能主要是做 Segment 的管理,解决 Segment 数量过多导致查询变慢的场景。具体得笔者把版本升上去之后在看看效果。因为自己可以开个定时任务去合并历史 Segment,所以这个功能在我这块暂时不是非常重要。是否有坑等笔者测试之后再来开坑。0.12.1 版本之前应该只能用在离线表上面,0.12.1以后包含 0.12.1 是增加了实时表的功能。

Deep Store

在 Pinot 中,Deep Storage 就是存储 Segment 的组件。无论是离线还是实时的 Segment 都会上传到 Deep Store 上。如果后期 Server 扩容,Server 重启或者 Table 重新迁移之后,Server 可以从 Deep Store 上面把 Segment download 下来到本地 Server 上。

REALTIME 上传 Segment

在实时表场景下,Server 会消费 kafka 的数据存储到本地磁盘,然后统一通过 Controller 传给 Deep Store。这样会导致在实时表多的情况下会出现集群毛刺问题。流程图如下
在这里插入图片描述
毛刺图如下,整点的时候会出现耗时上涨。怀疑是跟这个配置有关系。
在这里插入图片描述

当然可以从配置侧入手解决这个问题,链接参数文章 在这里,可以通过这个调整自己的配置达到下图的工作流程
在这里插入图片描述

OFFLINE 上传 Segment

批处理上传 Segment 没有那么复杂,就是通过官方提供的 jar 生成对应的 Segment 在把 Segment 上传到配置好的 Deep Store 中。
在这里插入图片描述

总结

这四篇文章已经基本让我们了解 Apache Pinot 内部的组件是什么,功能篇基本都写完。学完上面这些概念,你应该就能看懂下面的流程图了。

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/633960.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

代码随想录算法训练营第五十六天 | 力扣 583. 两个字符串的删除操作, 72. 编辑距离

583. 两个字符串的删除操作 题目 583. 两个字符串的删除操作 给定两个单词 word1 和 word2 ,返回使得 word1 和 word2 相同所需的最小步数。 每步 可以删除任意一个字符串中的一个字符。 解析 1.确定dp数组(dp table)以及下标的含义 …

学会这个Python库,做接口测试不是手拿把掐吗?

我们在做接口测试时,大多数返回的都是json属性,我们需要通过接口返回的json提取出来对应的值,然后进行做断言或者提取想要的值供下一个接口进行使用。 但是如果返回的json数据嵌套了很多层,通过查找需要的词,就很不方便…

三、Typora软件的介绍及安装

1、Typora软件的介绍 (1)Typora时一款Markdown编辑器和阅读器。 (2)Typora使用起来十分简洁,十分方便,可用于记录日常的笔记等。 (3)Markdown 是一种轻量级标记语言,它允许人们使用易读易写的纯文本格式编写文档。 2、Typora软件的安装 …

都说未来AI测试辅助自动化测试,难道手工测试真的要被淘汰了吗?

目录 前言 AI测试的迷思 第一个问题:AI辅助测试真的能用吗? 第二个问题:AI辅助测试已经发展到什么程度了? 第三个问题:哪些软件系统能用AI辅助测试? 总结 总结: 前言 近年来,…

FPGA实现简易的自动售货机模型

文章目录 前言一、系统设计1、模块框图2、状态机框图3、RTL视图 二、源码1.蜂鸣器驱动模块2.按键消抖模块3、PWM模块4、sale_goods模块(状态机部分)5、数码管驱动模块6、Sales(顶层模块) 三、效果四、总结五、参考资料 前言 环境: 1、Quartus18.1 2、vscode 3、板子…

华为OD机试 JavaScript 实现【简单密码】【牛客练习题 HJ21】,附详细解题思路

一、题目描述 现在有一种密码变换算法。 九键手机键盘上的数字与字母的对应: 1--1, abc--2, def--3, ghi--4, jkl--5, mno--6, pqrs--7, tuv--8 wxyz--9, 0--0,把密码中出现的小写字母都变成九键键盘对应的数字,如:a …

Python实现面向对象版学员管理系统

如有错误,敬请谅解! 此文章仅为本人学习笔记,仅供参考,如有冒犯,请联系作者删除!! 1.1需求分析 1.1.1使用面向对象编程思想完成学员管理系统的开发,具体如下: 系统要求…

城镇供水产销差问题分析与对策

城镇自来水与其它商品的经营活动一样存在着产销差,产销差的高低,直接影响着供水企业的经济效益。供水企业的经营活动中不单考虑企业的经济效益,还要考虑社会效益。产销差是客观存在的,造成产销差的原因是多样的,复杂的…

初探图神经网络——GNN

title: 图神经网络(GNN) date: tags: 随笔知识点 categories:[学习笔记] 初探图神经网络(GNN) 文章来源:https://distill.pub/2021/gnn-intro/ 前言:说一下为什么要写这篇文章,因为自己最近一直听说“图神经网络”,但是一直不了…

【LeetCode】24.两两交换链表中的节点

24.两两交换链表中的节点(中等) 方法一:递归 思路 代码 /*** Definition for singly-linked list.* struct ListNode {* int val;* ListNode *next;* ListNode() : val(0), next(nullptr) {}* ListNode(int x) : val(x), n…

聊一聊mysql的MVC

技术主题 在mysql世纪使用中,经常涉及到MVCC的概念(Multi-Vsersion Concurrency Control),即多版本并发控制,一种并发控制方法,根本目的是主为了提升数据库的并发性能。 mvcc为什么产生 数据库最原生的锁…

解开索引迷局:聚簇索引与非聚簇索引的差异大揭秘!

大家好,我是小米!今天我们来聊一聊数据库中的索引,具体地说就是聚簇索引和非聚簇索引。这两者在数据库中扮演着重要的角色,对于我们理解数据库的存储和查询机制非常有帮助。下面就让我来给大家详细解释一下它们的区别吧&#xff0…

为不同的调制方案设计一个单载波系统(映射器-信道-去映射器)(Matlab代码实现)

💥💥💞💞欢迎来到本博客❤️❤️💥💥 🏆博主优势:🌞🌞🌞博客内容尽量做到思维缜密,逻辑清晰,为了方便读者。 ⛳️座右铭&a…

RPC介绍

RPC介绍 1 介绍1.1 概述1.2 RPC的分裂发展 2 历史发展1969年11月,ARPAnet 开始建立。1974年:Jon Postel 和 Jim White发表了RFC6741975年:RFC684 作为RFC 674 的注释发表,对RFC 674 的争议进行回复。1976年:RFC 707 发…

C++学习之旅 -类和对象(重点)

文章目录 封装封装的意义案例1案例2 访问权限C中class和struct的区别成员属性私有化构造函数和析构函数构造函数析构函数构造函数的分类以及调用构造&调用 拷贝构造函数调用时机深拷贝&浅拷贝初始化列表类对象作为类成员静态成员C对象模型&this指针成员变量和成员函…

Mybatis Generator源码修改

文章目录 报java.net.MalformedURLException错误解决问题原因:编译的时候没有把下面的dtd文件打进去解决方法 XML文件判空优化-增加空字符串修改InsertSelectiveElementGenerator修改UpdateByPrimaryKeySelectiveElementGenerator XML文件判空优化-最佳解决方案 报j…

一文详解!接口测试 API 自动化测试框架

目录 前言 框架定位 框架架构图 框架介绍 技术栈 Case 展示 执行展示 框架优势: 前言 接口测试 API 自动化测试框架可以提高测试效率和自动化程度,通常包括 HTTP 客户端、测试数据管理、测试报告生成、测试用例管理和调度等功能。下面是一个常用…

【论文】attention is all you need

重点在第三节 attention is all you need摘要1. 绪论2. 背景3. 模型架构3.1 编码器和解码器堆叠 3.2 注意力3.2.1 缩放点积注意力(Scaled Dot-Product Attention)3.2.2 多头注意力机制3.2.3 模型中注意力的应用 3.3 职位感知前馈网络(Positio…

单链表OJ题:LeetCode--142.环形链表Ⅱ(判断第一次入环的节点)

朋友们、伙计们,我们又见面了,本期来给大家解读一下LeetCode中第142道单链表OJ题,如果看完之后对你有一定的启发,那么请留下你的三连,祝大家心想事成! 数据结构与算法专栏:数据结构与算法 个 人…

【网页设计】第 1 课 - 了解网页设计

欢迎来到博主 Apeiron 的博客,祝您旅程愉快 ! 时止则止,时行则行。动静不失其时,其道光明。 目录 1、缘起 2、了解网页设计 2.1、网页设计 2.2、网站结构 2.3、网站分类 2.4、页面鉴赏 3、总结 1、缘起 前段时间学习完了前…