TiDB亿级数据亚秒响应查询方案介绍

news2024/11/17 9:37:59

目录

  • 1 什么是TiDB
  • 2 什么是NewSQL
    • 2.1 传统SQL的问题
      • 2.1.1 升级服务器硬件
      • 2.1.2 数据分片
    • 2.2 NoSQL 的问题
      • 2.2.1 优点
      • 2.2.2 缺点
    • 2.3 NewSQL 特性
      • 2.3.1 NewSQL 的主要特性：
      • 2.4 三种SQL的对比
  • 3 TiDB怎么来的
    • 3.1 TiDB社区版和企业版
  • 4 TIDB核心特性
    • 4.1 水平弹性扩展
    • 4.2 分布式事务支持
    • 4.3 金融级高可用
    • 4.4 实时 HTAP
    • 4.5 云原生的分布式数据库
    • 4.6 高度兼容 MySQL
  • 5 OLTP和OLAP
    • 5.1 OLTP(联机事务处理)
    • 5.2 OLAP(联机分析处理)
    • 5.3 特性对比
    • 5.4 设计角度区别

1 什么是TiDB

在这里插入图片描述

TiDB 是一个分布式 NewSQL 数据库，它支持水平弹性扩展、ACID 事务、标准 SQL、MySQL 语法和 MySQL 协议，具有数据强一致的高可用特性，是一个不仅适合 OLTP 场景还适合 OLAP 场景的混合数据库。

​ TiDB 是 PingCAP 公司自主设计、研发的开源分布式关系型数据库，是一款同时支持在线事务处理与在线分析处理 (Hybrid Transactional and Analytical Processing, HTAP）的融合型分布式数据库产品，具备水平扩容或者缩容、金融级高可用、实时 HTAP、云原生的分布式数据库、兼容 MySQL 5.7 协议和 MySQL 生态等重要特性。目标是为用户提供一站式 OLTP (Online Transactional Processing)、OLAP (Online Analytical Processing)、HTAP 解决方案。TiDB 适合高可用、强一致要求较高、数据规模较大等各种应用场景。

2 什么是NewSQL

数据库发展至今已经有3代了：

  1. SQL，传统关系型数据库，例如 MySQL
  2. NoSQL，例如 MongoDB,Redis
  3. NewSQL

2.1 传统SQL的问题

互联网在本世纪初开始迅速发展，互联网应用的用户规模、数据量都越来越大，并且要求7X24小时在线。

​ 传统关系型数据库在这种环境下成为了瓶颈，通常有2种解决方法：

2.1.1 升级服务器硬件

​ 虽然提升了性能，但总有天花板。

2.1.2 数据分片

使用分布式集群结构

​ 对单点数据库进行数据分片，存放到由廉价机器组成的分布式的集群里，可扩展性更好了，但也带来了新的麻烦。

​ 以前在一个库里的数据，现在跨了多个库，应用系统不能自己去多个库中操作，需要使用数据库分片中间件。

​ 分片中间件做简单的数据操作时还好，但涉及到跨库join、跨库事务时就很头疼了，很多人干脆自己在业务层处理，复杂度较高。

2.2 NoSQL 的问题

​ 后来 NoSQL 出现了，放弃了传统SQL的强事务保证和关系模型，重点放在数据库的高可用性和可扩展性。

2.2.1 优点

  • 高可用性和可扩展性，自动分区，轻松扩展
  • 不保证强一致性，性能大幅提升
  • 没有关系模型的限制，极其灵活

2.2.2 缺点

  • 不保证强一致性，对于普通应用没问题，但还是有不少像金融一样的企业级应用有强一致性的需求。
  • 不支持 SQL 语句，兼容性是个大问题，不同的 NoSQL 数据库都有自己的 api 操作数据，比较复杂。

2.3 NewSQL 特性

​ NewSQL 提供了与 NoSQL 相同的可扩展性，而且仍基于关系模型，还保留了极其成熟的 SQL 作为查询语言，保证了ACID事务特性。

​ 简单来讲，NewSQL 就是在传统关系型数据库上集成了 NoSQL 强大的可扩展性。

​ 传统的SQL架构设计基因中是没有分布式的，而 NewSQL 生于云时代，天生就是分布式架构。

2.3.1 NewSQL 的主要特性：

  • SQL 支持，支持复杂查询和大数据分析。
  • 支持 ACID 事务，支持隔离级别。
  • 弹性伸缩，扩容缩容对于业务层完全透明。
  • 高可用，自动容灾。

2.4 三种SQL的对比

在这里插入图片描述

3 TiDB怎么来的

​ 著名的开源分布式缓存服务 Codis 的作者，PingCAP联合创始人& CTO ，资深 infrastructure 工程师的黄东旭，擅长分布式存储系统的设计与实现，开源狂热分子的技术大神级别人物。即使在互联网如此繁荣的今天，在数据库这片边界模糊且不确定地带，他还在努力寻找确定性的实践方向。

​ 直到 2012 年底，他看到 Google 发布的两篇论文，如同棱镜般，折射出他自己内心微烁的光彩。这两篇论文描述了 Google 内部使用的一个海量关系型数据库 F1/Spanner ，解决了关系型数据库、弹性扩展以及全球分布的问题，并在生产中大规模使用。“如果这个能实现，对数据存储领域来说将是颠覆性的”，黄东旭为完美方案的出现而兴奋， PingCAP 的 TiDB 在此基础上诞生了。

公司历史可以参考下PingCAP

3.1 TiDB社区版和企业版

TiDB分为社区版以及企业版，企业版收费提供服务以及安全性的支持

在这里插入图片描述

4 TIDB核心特性

4.1 水平弹性扩展

通过简单地增加新节点即可实现 TiDB 的水平扩展，按需扩展吞吐或存储，轻松应对高并发、海量数据场景

​ 得益于 TiDB 存储计算分离的架构的设计，可按需对计算、存储分别进行在线扩容或者缩容，扩容或者缩容过程中对应用运维人员透明。

4.2 分布式事务支持

​ TiDB 100% 支持标准的 ACID 事务

4.3 金融级高可用

相比于传统主从 (M-S) 复制方案，基于 Raft 的多数派选举协议可以提供金融级的 100% 数据强一致性保证，且在不丢失大多数副本的前提下，可以实现故障的自动恢复 (auto-failover)，无需人工介入

​ 数据采用多副本存储，数据副本通过 Multi-Raft 协议同步事务日志，多数派写入成功事务才能提交，确保数据强一致性且少数副本发生故障时不影响数据的可用性。可按需配置副本地理位置、副本数量等策略满足不同容灾级别的要求。

4.4 实时 HTAP

TiDB 作为典型的 OLTP 数据库，同时兼具强大的 OLAP 性能，配合 TiSpark，可提供一站式 HTAP 解决方案，一份存储同时处理 OLTP & OLAP 无需传统繁琐的 ETL 过程

​ 提供行存储引擎 TiKV、列存储引擎 TiFlash 两款存储引擎，TiFlash 通过 Multi-Raft Learner 协议实时从 TiKV 复制数据，确保行存储引擎 TiKV 和列存储引擎 TiFlash 之间的数据强一致。TiKV、TiFlash 可按需部署在不同的机器，解决 HTAP 资源隔离的问题。

4.5 云原生的分布式数据库

​ TiDB 是为云而设计的数据库，同 Kubernetes 深度耦合，支持公有云、私有云和混合云，使部署、配置和维护变得十分简单。TiDB 的设计目标是 100% 的 OLTP 场景和 80% 的 OLAP 场景，更复杂的 OLAP 分析可以通过 TiSpark 项目来完成。 TiDB 对业务没有任何侵入性，能优雅的替换传统的数据库中间件、数据库分库分表等 Sharding 方案。同时它也让开发运维人员不用关注数据库 Scale 的细节问题，专注于业务开发，极大的提升研发的生产力

4.6 高度兼容 MySQL

​ 兼容 MySQL 5.7 协议、MySQL 常用的功能、MySQL 生态，应用无需或者修改少量代码即可从 MySQL 迁移到 TiDB。

​ 提供丰富的数据迁移工具帮助应用便捷完成数据迁移，大多数情况下，无需修改代码即可从 MySQL 轻松迁移至 TiDB，分库分表后的 MySQL 集群亦可通过 TiDB 工具进行实时迁移。

5 OLTP和OLAP

5.1 OLTP(联机事务处理)

​ OLTP(Online Transactional Processing) 即联机事务处理，OLTP 是传统的关系型数据库的主要应用，主要是基本的、日常的事务处理，记录即时的增、删、改、查，比如在银行存取一笔款，就是一个事务交易

​ 联机事务处理是事务性非常高的系统，一般都是高可用的在线系统，以小的事务以及小的查询为主，评估其系统的时候，一般看其每秒执行的Transaction以及Execute SQL的数量。在这样的系统中，单个数据库每秒处理的Transaction往往超过几百个，或者是几千个，Select 语句的执行量每秒几千甚至几万个。典型的OLTP系统有电子商务系统、银行、证券等，如美国eBay的业务数据库，就是很典型的OLTP数据库。

5.2 OLAP(联机分析处理)

​ OLAP(Online Analytical Processing) 即联机分析处理，是数据仓库的核心部心，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果。典型的应用就是复杂的动态报表系统

​ 在这样的系统中，语句的执行量不是考核标准，因为一条语句的执行时间可能会非常长，读取的数据也非常多。所以，在这样的系统中，考核的标准往往是磁盘子系统的吞吐量（带宽），如能达到多少MB/s的流量。

5.3 特性对比

OLTP和OLAP的特性对比

—OLTPOLAP
实时性OLTP 实时性要求高，OLTP 数据库旨在使事务应用程序仅写入所需的数据，以便尽快处理单个事务OLAP 的实时性要求不是很高，很多应用顶多是每天更新一下数据
数据量OLTP 数据量不是很大，一般只读 / 写数十条记录，处理简单的事务OLAP 数据量大，因为 OLAP 支持的是动态查询，所以用户也许要通过将很多数据的统计后才能得到想要知道的信息，例如时间序列分析等等，所以处理的数据量很大
用户和系统的面向性OLTP 是面向顾客的，用于事务和查询处理OLAP 是面向市场的，用于数据分析
数据库设计OLTP 采用实体 - 联系 ER 模型和面向应用的数据库设计OLAP 采用星型或雪花模型和面向主题的数据库设计

5.4 设计角度区别

—OLTPOLAP
用户操作人员，低层管理人员决策人员，高级管理人员
功能日常操作处理分析决策
主要工作增、删、改查询
DB 设计面向应用面向主题
数据当前的，最新的细节，二维的，分立的历史的，聚集的，多维集成的，统一的
存取读/写数十条记录读上百万条记录
工作单位简单的事务复杂的查询
用户数上千个上百个
DB 大小100MB-GB100GB-TB

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/604872.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

【JUnit技术专题】「入门到精通系列」手把手+零基础带你玩转单元测试，让你的代码更加“强壮”（核心API篇）

【JUnit技术专题】「入门到精通系列」手把手+零基础带你玩转单元测试，让你的代码更加“强壮”（核心API篇）

手把手零基础带你玩转单元测试，让你的代码更加“强壮”（核心API篇） JUnit 中的重要的 APIAssert 类TestCase 类TestResult 类TestSuite 类 JUnit 中的重要的 API JUnit 中的最重要的程序包是 junit.framework 它包含了所有的核心类。一些重要…
阅读更多...
数字孪生：数字世界与现实世界的交汇

数字孪生：数字世界与现实世界的交汇

数字孪生是一种崭新的技术，指将现实世界中的物理实体、系统或过程通过数字化技术在虚拟数字世界中建立起虚拟模型。数字孪生可以帮助人们以更小的成本地理解和预测现实世界中的物理实体、系统或过程的行为和性能，从而提高生产效率、降低成本、减少风险等。 如今数字孪生技术…
阅读更多...
Makerbase SimpleFOC ESP32 例程1 双电机开环速度测试

Makerbase SimpleFOC ESP32 例程1 双电机开环速度测试

Makerbase SimpleFOC ESP32 例程1 双电机开环速度测试 第一部分 硬件介绍 1.1 硬件清单 序号品名数量1ESP32 FOC V1.0 主板12YT2804电机2312V电源适配器14USB 线1 注意：YT2804是改装的云台无刷电机,带有AS5600编码器，可实现360连续运转。 主要参数如…
阅读更多...
刷题记录：双指针 | leetcode-1156. 单字符重复子串的最大长度 2023/6/3

刷题记录：双指针 | leetcode-1156. 单字符重复子串的最大长度 2023/6/3

1156. 单字符重复子串的最大长度 感觉这道题，双指针的思路很好想，但是要直接实现，对我而言还是有一些磕磕绊绊（还是题做少了qaq）。 思路是这样的，比如字符串序列为： aaabaaaba 那么一开始&am…
阅读更多...
【leetcode】1156. 单字符重复子串的最大长度

【leetcode】1156. 单字符重复子串的最大长度

1156. 单字符重复子串的最大长度 问题描述问题分析解决方案 问题描述 1156. 单字符重复子串的最大长度 如果字符串中的所有字符都相同，那么这个字符串是单字符重复的字符串。 给你一个字符串 text，你只能交换其中两个字符一次或者什么都不做&#xff…
阅读更多...
基于AT89C52单片机的液晶多功能电子台历设计

基于AT89C52单片机的液晶多功能电子台历设计

点击链接获取Keil源码与Project Backups仿真图： https://download.csdn.net/download/qq_64505944/87858426 源码获取 第5章 液晶多功能电子台历的设计 5.1 功能要求 该项目以单片机STC89C54为核心，结合单线数字温度传感器DS18B20、时钟芯片DS1302和液晶显示器12864设计而…
阅读更多...
GPU推理和端侧NPU推理的一处不同

GPU推理和端侧NPU推理的一处不同

端侧AI推理主要使用NPU完成，为了在性能，功耗和面积和通用性之间取得平衡，主流NPU采用了加速器架构，将算子固化在硬件中，并辅以可编程单元执行一些自定义算子/长尾算子兼顾灵活性。在计算方面，为了提高存储使用效率和加速计算，在满足计算精度的前提下，NPU普遍采用定点计…
阅读更多...
编程的未来 - 还有未来么？

编程的未来 - 还有未来么？

缘起 唐门教主上个月某天深夜写了一篇博客 --《编程的未来》，要我谈谈感想。 这也是最近软件工程师们聊得比较多的问题，上周，在上海的 “关东小磨” 和十多位 CSDN 博主聚会的时候，大家也稍微谈了一下这个话题，但是谈…
阅读更多...
一哥们从小厂逆袭，涨薪50%，真是麻雀啄了牛屁股，雀食牛逼啊

一哥们从小厂逆袭，涨薪50%，真是麻雀啄了牛屁股，雀食牛逼啊

前言 大多数情况下，软件测试人员的个人技能成长速度，远远大于公司规模或业务的成长速度。所以，跳槽成为了这个行业里最常见的一个词汇。 实际上，跳槽的目的无非是为了涨薪或是职业发展，我也不例外。普通本科毕业后&a…
阅读更多...
vscode课程学习分析选课作业系统nodejs+vue

vscode课程学习分析选课作业系统nodejs+vue

软件体系结构方案：由于本系统需要在不同设备上都能运行，而且电脑配置要求也要越低越好，为了实现这一要求，经过考虑B/S结构成为最佳之选。使用B/S结构的系统可以几乎在任何电脑上运行，只要浏览器可以正常工作就可以正常…
阅读更多...
操作系统复习5.1.0-I/O管理

操作系统复习5.1.0-I/O管理

分类 按使用特性分 人机交互类：键盘、鼠标、打印机 存储设备：移动硬盘、光盘 网络通信设备：调制解调器 按速率分 低速设备：键鼠 中速设备：打印机 高速设备：磁盘 按信息交换单位分 块设备：…
阅读更多...
yum和vim【Linux操作系统】

yum和vim【Linux操作系统】

Linux软件包管理器 yum Linux安装软件： 源代码安装（下载到程序的源代码，进行编译，得到可执行程序，太麻烦，因此有些人会将有些常用的软件提前编写好，做成软件包） rpm安装（…
阅读更多...
BCD格式及与十进制/十六进制的转换

BCD格式及与十进制/十六进制的转换

本文框架 前言1. BCD码是什么？2. 不同进制与BCD码之间的转换2.1 十进制与BCD码的转换2.1.1 十进制转换为BCD码2.1.2 BCD码转换为十进制 2.2 十六进制与BCD码的转换 前言 在诊断快照开发中会遇到保存年月日等使用BCD码格式的需求，本篇我们就一起看一下BC…
阅读更多...
Sentinel监控微服务_流量控制_熔断降级_系统规则讲解

Sentinel监控微服务_流量控制_熔断降级_系统规则讲解

Sentinel 监控微服务 需求分析/图解 需求: 使用Sentinel 控制台对member-service-nacos-provider-10004 微服务进行实时监控 示意图 当调用了member-service-nacos-provider-10004 微服务时, 可以监控到请求的url/QPS/响应时间/流量 代码/配置实现 修改member-service-nac…
阅读更多...
Redis之SDS数据结构的使用

Redis之SDS数据结构的使用

目录 序言字符串 char*字符串数组简单动态字符串SDS 序言 Redis的几种基本数据结构有字符串（String）、哈希（Hash）、列表（List）、集合（Set）、有序集合（Sorted Set&…
阅读更多...
美国原装二手KEYSIGHT N8975A是德N8975B噪声系数分析仪

美国原装二手KEYSIGHT N8975A是德N8975B噪声系数分析仪

KEYSIGHT / AGILENT N8975A N8975B 噪声系数分析仪 Keysight N8975B 高性能噪声系数分析仪旨在进行快速、准确和可重复的噪声系数测量。它有一个多点触控界面，允许拉伸、捏合和拖动手势。大多数菜单都可以通过手指轻点来访问，而无需切换屏幕。通过允许…
阅读更多...
【数据结构】第10周

【数据结构】第10周

目录 1.图的基本术语 2.图的存储 2.1邻接矩阵 2.2.邻接表 3.图的遍历 3.1 深度搜索 dfs 3.2 广度搜索 bfs 4.图的应用 4.1 最小生成树 4.1.1 普里姆算法 4.1.2 克鲁斯卡尔算法 4.2 最短路径 4.2.1 Dijkstra算法 4.2.2 Floyd算法 4.3 拓扑排序 4.4 关键路径 一些…
阅读更多...
chatgpt赋能python：Python创建一个Animal类介绍

chatgpt赋能python：Python创建一个Animal类介绍

Python创建一个Animal类介绍 Python是一种高级编程语言，其简单易学、灵活性强、可读性高以及强大的库使得Python非常受欢迎。在Python中创建类非常容易且非常常见，我们可以使用Python创建各种类型的类。今天，我们将讨论如何使用Python创建一…
阅读更多...
OpenAI发布最新研究让大模型数学推理直接达到SOTA

OpenAI发布最新研究让大模型数学推理直接达到SOTA

🦉 AI新闻 🚀 OpenAI发布最新研究：基于过程奖励的监督方法，让大模型数学推理直接达到SOTA 摘要：OpenAI最新研究基于GPT-4微调，采用过程监督和结果监督两种监督方法，奖励每个正确推理步骤的过程…
阅读更多...
微信小程序开发实战 ⑨（TabBar）

微信小程序开发实战 ⑨（TabBar）

作者 : SYFStrive 博客首页 : HomePage 📜： 微信小程序 📌：个人社区（欢迎大佬们加入） 👉：社区链接🔗 📌：觉得文章不错可以点点关注 &#x1f4…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023