HTAP技术

在这里插入图片描述

传统的HTAP解决方案

在这里插入图片描述

HATP的要求

可扩展性
- 分布式事务
- 分布式存储
同时支持OLTP与OLAP
- 同时支持行存和列存
- OLTP与OLAP业务隔离
实时性
- 行存与列存数据实时同步

TiDB的HTAP架构

数据存到TiKV的同是也会同步（也是使用raft算法，并且它不参与选举，只用于同步）到TiFlash，并且是它是列式。列式的意思就是数据块当中存的不是一行数据，而是一列的数据。

对于数据一致性要求的查询，会去到TiKV当中（行存）处理数据。例如银行转账
对于某列的数据大量更新，则会去到TiFLASH当总（列存）处理数据。

在这里插入图片描述

TiDB的HTAP特性

行列混合
- 列存(TiFlash) 支持基于主键的实时更新
- TiFlash作为列存副本
- OLTP与OLAP业务隔离
智能选择（CBO自动或人工选择）
MPP架构
强一致性，自动同步

MPP: 大规模平行并发处理。它在TiFLASH中处理。

使用场景

HTAP—— TiDB 在线事务与在线分析处理 (Hybrid Transactional and Analytical Processing,HTAP) 功能。

TiDB HTAP 可以满⾜企业海量数据的增产需求、降低运维的⻛险成本、与现有的⼤数据栈⽆缝缝合，从⽽实现数据资产价值的实时变现。
以下是三种 HTAP 典型适⽤场景：

混合负载场景
当将 TiDB 应⽤于在线实时分析处理的混合负载场景时，开发⼈员只需要提供⼀个⼊⼝，TiDB 将⾃动根据业务类型选择不同的处理引擎。
实时流处理场景
当将 TiDB 应⽤于实时流处理场景时，TiDB 能保证源源不断流⼊系统的数据实时可查，同时可兼顾⾼并发数据服务与 BI 查询。
数据中枢场景
当将 TiDB 应⽤于数据中枢场景时，TiDB 作为数据中枢可以⽆缝连接数据业务层和数据仓库层，满⾜不同业务的需求。
大数据量
⼤数据场景 (100 T) ，推荐使⽤ TiFlash MPP 作为 HTAP 的主要⽅案，TiSpark 作为补充⽅案。

MPP

大量数据的join聚合查询
所有MPP计算都在TiFlash节点内存中完成
目前只支持等值连接
Enforce_mpp 帮助验证是否可以使用MPP

实现了聚合和连接的一个加速。MPP只在TiFlash上完成。

SQL过来，TiDB Server作为协调者，Tidb 会将每个TiFLASH 上面的列存做交换，交换后让表连接需要的数据只在一个TiFLASH上。（不会跨TiFlash做表连接）
另外TiFlash也会走计算下推到它，例如过滤，交换，连接，聚合等等。
每个TiFlash 在这里还有个专用名称(MPP WORKER)
在这里插入图片描述
先做过滤