【非关系型数据库】【IOT设备】InfluxDB、TimescaleDB、Cassandra和MongoDB

news2024/11/14 3:29:14

关系型数据库在处理IoT设备数据瓶颈

问题原理具体问题描述
固定的模式和结构预定义的数据模式要求IoT设备可能产生结构多变的数据，频繁调整数据库模式以适应这些变化是不切实际的。
扩展性限制设计初衷是单服务器，水平扩展复杂需要应对大量设备数据的快速扩展，关系型数据库的水平扩展可能面临性能瓶颈和一致性问题。
高并发写入性能严格的事务ACID属性在处理成千上万的并发写入时可能无法提供足够的写入吞吐量，导致性能下降。
成本和复杂性大型系统维护涉及多方面的复杂性IoT数据的持续增长可能导致存储成本迅速上升，维护复杂的数据库系统可能需要专业团队。
查询效率复杂查询优化但简单查询可能不足IoT数据常需要基于时间进行快速查询，关系型数据库可能因不适合的数据索引和查询优化而效率不高。
数据冗余和更新开销数据一致性要求高RDBMS为了保证数据的一致性，往往设计有复杂的数据冗余机制，这在IoT场景下可能导致不必要的数据更新开销。
响应时间数据库锁和事务冲突在高并发的环境下，关系型数据库的锁机制可能导致响应时间增加，影响系统的实时性能。
数据分析和处理非针对时间序列优化虽然可以处理时间序列数据，但关系型数据库在存储和查询时间序列数据时没有专门为此优化的数据库（如InfluxDB）高效。

特性对比

特性/数据库InfluxDBTimescaleDBCassandraMongoDB
类型时间序列数据库时间序列数据库扩展（基于PostgreSQL）分布式NoSQL数据库文档型NoSQL数据库
主要优势高性能写入和查询时间序列数据结合关系数据库的优势和时间序列数据处理高可用性、可扩展性、分布式设计灵活的文档模型，强大的索引和查询能力
数据模型优化时间序列数据表格模型，增加时间序列优化键值模型，列族存储文档模型
查询语言InfluxQL、FluxSQL（扩展PostgreSQL）CQL（类SQL语言）MQL（MongoDB查询语言）
最佳用途实时监控、事件日志、分析应用复杂查询、联表操作、数据分析大规模数据分布、快速写入灵活数据处理、快速迭代、多种数据类型存储
扩展性水平扩展水平扩展（通过分区）高度可扩展，线性扩展性高度可扩展
事务支持有限完整事务支持（依赖PostgreSQL）有限事务，行级原子操作支持ACID事务（限于单个文档操作）
一致性模型最终一致性强一致性可调节的一致性（Eventual到Strong）强一致性（可配置）
社区和支持较强，广泛应用于监控和IoT由PostgreSQL社区支持，稳定成熟非常活跃，应用广泛非常活跃，广泛的商业支持和社区资源
并发写入能力极高，专为时间序列数据高频写入优化高，但受PostgreSQL底层架构影响极高，设计用于分布式环境中的大规模并发写入高，但可能需要优化索引和写入策略
并发读取能力高，支持快速的数据聚合和实时查询高，利用PostgreSQL的强大查询优化器高，数据分布式存储支持有效的读取扩展高，尤其在配置良好的索引和分片环境下
数据持久化提供高效的持久化机制，优化存储时间序列数据依赖PostgreSQL的成熟持久化机制高度可配置的持久化选项，优化分布式存储强大的持久化能力，支持多种存储引擎
数据压缩高效的数据压缩技术，减少存储需求支持数据压缩，依赖PostgreSQL能力支持数据压缩，减少存储空间需求支持数据压缩，优化存储效率
数据安全性基本的安全特性，如用户认证继承PostgreSQL的高级安全特性提供高级安全配置，如用户权限管理提供全面的安全功能，如加密、访问控制
数据复制原生支持数据复制通过PostgreSQL的复制功能实现原生支持高效的数据复制和分布式存储支持数据复制和自动故障转移
备份与恢复支持定期备份与恢复依赖PostgreSQL的备份与恢复机制提供灵活的备份与恢复策略强大的备份和恢复功能
数据整合与接口支持多种数据整合工具和接口支持广泛的PostgreSQL生态系统工具提供广泛的客户端库和集成工具提供丰富的API和数据整合选项
扩展插件社区支持多种插件可利用PostgreSQL的扩展插件有限的扩展支持，侧重核心功能支持多种第三方插件和内置功能扩展
监控与管理提供专门的监控工具可使用PostgreSQL的监控工具提供全面的监控和性能优化工具强大的监控和管理工具
实时分析能力高效的实时数据处理和分析能力利用SQL进行实时或近实时分析支持实时数据处理但优化不及专用时间序列数据库实时分析能力较强，尤其在处理大数据集时
高可用性设计高可用性配置较简单依赖PostgreSQL的高可用性解决方案设计为高度可用的分布式系统高可用性配置自动化，包括副本集和分片
开发友好性提供简洁的查询语言，易于学习通过SQL提供极高的开发友好性提供类SQL语言，对开发者友好提供丰富的开发工具和驱动支持
扩展与维护支持自动数据分区，简化扩展和维护支持自动时间分区，简化管理和扩展分区和复制策略灵活，易于扩展和维护扩展性强，维护成本与管理工作相对低
社区活跃度活跃的社区，尤其在时间序列数据处理领域PostgreSQL社区的支持，稳定且成熟非常活跃的社区，特别是在大数据和分布式领域极为活跃的社区，广泛的商业和开发者支持
典型应用适用于监控系统、传感器数据和实时分析适用于需要复杂查询的物联网应用适合大规模、分布广泛的数据管理需求适合快速发展和多样化的数据需求的应用环境
成本效率成本相对低，尤其在数据写入和存储优化方面成本效率取决于PostgreSQL的部署和管理成本随规模扩展较优，特别是在大规模操作时成本依配置复杂度和部署规模变化
灵活性针对时间序列数据优化极高的灵活性结合关系数据库的灵活性和时间序列数据处理能力高度的配置灵活性和扩展能力高灵活性，适应快速变化的应用需求
数据删除策略支持自动数据过期删除，易于管理时间序列数据支持自动分区和数据生命周期管理数据删除需要手动处理，可能会影响性能支持TTL索引自动删除过期数据
标签和索引优化高效的标签和索引系统，优化时间序列查询利用PostgreSQL的索引功能，支持多种索引类型主键和二级索引设计优化查询动态索引管理，适合快速变动的数据模型
数据聚合功能提供强大的内置数据聚合功能通过SQL函数和过程支持复杂的数据聚合支持自定义聚合函数支持复杂的聚合管道
批处理和流处理专门优化批处理和实时流处理适合批处理，实时处理能力取决于PostgreSQL强大的批处理能力，流处理能力适中支持实时数据流和批处理操作
数据分布策略数据自动分布于不同的时间分区数据按时间和可选标准自动分区数据按照分区键自动分散在多节点支持灵活的数据分片
可视化工具支持提供自带的可视化工具和广泛的第三方集成可利用PostgreSQL的工具及第三方BI工具提供第三方工具的集成支持丰富的可视化和管理工具支持
学习曲线相对简单，专注于时间序列需要PostgreSQL知识，学习曲线中等需要对分布式系统有一定了解相对简单，文档丰富，社区活跃
开源与授权完全开源开源核心，部分高级功能商业化完全开源社区版开源，企业版商业

社区活跃度

指标/数据库InfluxDBTimescaleDBCassandraMongoDB
GitHub 星标 (Stars)28.9千17.9千8.8千26.3千
Forks 数量3.6千8843.6千5.6千
开放的问题 (Open Issues)2千515需进一步确认需进一步确认
Pull Requests524559877
主要编程语言GoC, SQLJavaC++
最近更新时间2024年11月5日2024年11月7日2024年11月10日2024年11月11日

优缺点

InfluxDB

特性优点缺点
数据写入和查询高效处理高频率的数据写入和实时查询。数据删除和更新操作复杂且效率较低。
查询语言提供专门为时间序列数据设计的查询语言（InfluxQL和Flux）。查询功能相对有限，不支持复杂的联表查询等高级SQL功能。
数据模型数据结构简单，易于存储和访问。——
数据压缩自动数据压缩，有效减少存储需求。——
可扩展性支持水平扩展，可以通过增加节点提高性能。高可用性配置较为复杂。
工具和集成丰富的工具和API支持，易于集成，如与Grafana的集成。——
社区和文档拥有活跃的社区和丰富的文档资源。——
事务支持——事务支持有限，不适合需要强事务一致性的应用。
数据持久性支持数据持久化。在数据备份和恢复功能方面可能略显不足。

TimescaleDB

特性优点缺点
数据写入和查询优化的时间序列数据处理能力，支持复杂的SQL查询。受底层PostgreSQL性能限制，可能不及专用非关系型数据库。
查询语言使用SQL，易于那些已熟悉SQL的用户使用。相比纯粹的NoSQL解决方案，查询灵活性可能有限。
数据模型利用PostgreSQL的强大数据模型，支持丰富的数据类型和关系。需要规划好数据模型以利用时间序列优化。
数据压缩支持高效的数据压缩机制，减少存储空间需求。压缩数据可能影响某些类型查询的性能。
可扩展性支持自动分区和水平扩展。扩展需要适当配置和管理PostgreSQL集群。
工具和集成可利用广泛的PostgreSQL工具和生态系统。——
社区和文档基于广泛使用的PostgreSQL，享有强大的社区支持和成熟的生态。——
事务支持完整的ACID事务支持。——

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/2238537.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

[CKS] K8S AppArmor Set Up

[CKS] K8S AppArmor Set Up

最近准备花一周的时间准备CKS考试，在准备考试中发现有一个题目关于AppArmor Pod操作权限的问题。 ​ 专栏其他文章: [CKS] Create/Read/Mount a Secret in K8S-CSDN博客[CKS] Audit Log Policy-CSDN博客 -[CKS] 利用falco进行容器日志捕捉和安全监控-CSDN博客[CKS] …
阅读更多...
Tomcat漏洞利用工具-TomcatScanPro(二)

Tomcat漏洞利用工具-TomcatScanPro(二)

项目地址 https://github.com/lizhianyuguangming/TomcatScanPro 简介 本项目是一个针对 Tomcat 服务的弱口令检测、漏洞检测以及本地文件包含（LFI）攻击工具。除了支持 CVE-2017-12615 漏洞的多种利用方式外，新版本还集成了 CNVD-2020-104…
阅读更多...
【XML协议】轻松掌握使用C++ XML解析库——pugixml

【XML协议】轻松掌握使用C++ XML解析库——pugixml

文章介绍了xml协议的组成以及C xml解析库pugixml的常用操作。源于开发中每次遇到xml操作时，都要回过头查看pugixml库常用操作时什么样的，能不能有个更深刻和清晰的认识呢？其实搞清楚xml结构和pugixml组织结构的对照关系，以及pugix…
阅读更多...
《无线重构世界》射频模组演进

《无线重构世界》射频模组演进

射频前端四大金刚 射频前端由PA、LNA、滤波器、开关“四大金刚” 不同的模块有自己的工艺和性能特点 分层设计 射频前端虽然只由PA、LNA、开关、混频器4个模块构成，但不同模块之间相互连接且相互影响。如果将射频系统当成一个整体来理解，其中的细节和…
阅读更多...
《Python编程实训快速上手》第五天--模式匹配与正则表达式

《Python编程实训快速上手》第五天--模式匹配与正则表达式

一、不用正则表达式查找文本模式 文本模式是一种人为规定的结构，现在有一个模式：3个数字-3个数字-4个数字 使用isPhoneNumber()函数来判断字符串是否匹配该模式 def isPhoneNumber(number):if len(number) ! 12:return Falsefor i in range(0,3):if n…
阅读更多...
文件读写函数（1）

文件读写函数（1）

大家好，今天我们来介绍一下文件读写函数，昨天我们已经简单提及了一下文件的概念，那么我们今天就不多说，下面我们来看函数。 1.fopen函数 这个函数是用来打开文件的，它的两个参数分别是文件名和文件的打开模式&#x…
阅读更多...
华为数通HCIA系列第5次考试-【2024-46周-周一】

华为数通HCIA系列第5次考试-【2024-46周-周一】

文章目录 1、子网掩码有什么作用，和IP地址是什么关系，利用子网掩码可以获取哪些信息？2、已知一个IP地址是192.168.1.1，子网掩码是255.255.255.0，求其网络地址3、已知某主机的IP地址是192.168.100.200，子网掩…
阅读更多...
Linux（CentOS）运行 jar 包

Linux（CentOS）运行 jar 包

1、在本地终端运行，关闭终端，程序就会终止 java -jar tlias-0.0.1-SNAPSHOT.jar 发送请求，成功 关闭终端（程序也会终止） 发送请求，失败 2、在远程终端运行，关闭终端，程序就会终止 …
阅读更多...
GIT:如何查找已删除的文件的历史记录

GIT:如何查找已删除的文件的历史记录

首先你得知道文件的名称和路径 然后打开 gitlab，到项目中，仓库-> 文件 查找文件 复制文件名到可能存在过这个文件的分支当中，就能看到了
阅读更多...
C++builder中的人工智能（21）：Barabási–Albert model（BA）模型

C++builder中的人工智能（21）：Barabási–Albert model（BA）模型

在此之前，大多数网络被想当然的认为是随机的，因此连接度分布可以近似用泊松分布来表示，而巴拉巴西与其学生阿尔伯特、郑浩雄通过对万维网度分布测量的结果却显示万维网度分布服从幂律分布，存在枢纽节点（拥有大量链接的…
阅读更多...
新手 Vue 项目运行

新手 Vue 项目运行

前言：前面讲了我们已经将spingboot项目运行起来了，现在我们只需将后台管理的Vue项目运行起来即可完成整个项目。 在运行vue项目之前，请先运行springboot项目，运行步骤请看：运行Springboot Vue 项目_springbootvue项目…
阅读更多...
AUTOSAR_EXP_ARAComAPI的7章笔记（2）

AUTOSAR_EXP_ARAComAPI的7章笔记（2）

☞返回总目录 相关总结：服务发现实现策略总结 7.2 服务发现的实现策略 如前面章节所述，ara::com 期望产品供应商实现服务发现的功能。服务发现功能基本上是在 API 级别通过 FindService、OfferService 和 StopOfferService 方法定义的，协议…
阅读更多...
计算机网络分析题

计算机网络分析题

网络的布置 根据具体需求布置网络 第二小题、网络的划分 根据路由表作出路由器拓扑图 ARP跨网络寻址 TCP报文段格式概念 网桥的转发表与动作 网络嗅探报文 十六进制化作十进制 嗅探以太网帧首部 除MAC帧以外，其他各层协议数据单元都是源地址在前，目…
阅读更多...
【初阶数据结构与算法】线性表之链表的分类以及双链表的定义与实现

【初阶数据结构与算法】线性表之链表的分类以及双链表的定义与实现

文章目录 一、链表的分类二、双链表的实现1.双链表结构的定义2.双链表的初始化和销毁初始化函数1初始化函数2销毁函数 3.双链表的打印以及节点的申请打印函数节点的申请 4.双链表的头插和尾插头插函数尾插函数 5.双链表的查找和判空查找函数判空函数 6.双链表的头删和尾删头删函…
阅读更多...
【AI写作宝-注册安全分析报告-无验证方式导致安全隐患】

【AI写作宝-注册安全分析报告-无验证方式导致安全隐患】

前言 由于网站注册入口容易被黑客攻击，存在如下安全问题： 1. 暴力破解密码，造成用户信息泄露 2. 短信盗刷的安全问题，影响业务及导致用户投诉 3. 带来经济损失，尤其是后付费客户，风险巨大，造…
阅读更多...
【HarmonyNext】显示提示文字的方法

【HarmonyNext】显示提示文字的方法

【HarmonyNext】显示提示文字的方法 本文介绍在 HarmonyNext 中显示提示文字的两种常见方法：使用自定义弹窗 CustomDialog 和使用 promptAction 的 showToast 方法。 一、使用自定义弹窗 CustomDialog 在 HarmonyNext 中，自定义弹窗是实现复杂提示信…
阅读更多...
【3D Slicer】的小白入门使用指南

【3D Slicer】的小白入门使用指南

一、3D Slicer认识 3D Slicer是一个开源医学影像分析和可视化平台（本质是TotalSegmentator的软件版）。（补充：TotalSegmentator 是一个用于医学图像分割的开源工具，能够对104种解剖结构进行精确分割。该项目基于深度学习技术，支持CT和MR图像的处理。TotalSegmentator 提供…
阅读更多...
ts定义接口返回写法

ts定义接口返回写法

接口&#xff08;未进行ts定义&#xff09; export async function UserList(params: {// keyword?: string;current?: number;pageSize?: number;},// options?: { [key: string]: any }, ) {return request<API1.UserList>(http://geek.itheima.net/v1_0/mp/artic…
阅读更多...
.NET Core 应用程序如何在 Linux 中创建 Systemd 服务 ?

.NET Core 应用程序如何在 Linux 中创建 Systemd 服务 ?

.NET Core 和 Linux 已经成为一个强大的组合&#xff0c;为开发人员提供了一个灵活、高性能的平台来构建和运行应用程序。在 Linux 上部署 .NET Core 应用程序的一个关键方面是利用 systemd 服务来确保应用程序顺利运行&#xff0c;在开机时自动启动&#xff0c;并在失败后重新…
阅读更多...
低代码平台总览

低代码平台总览

低代码平台&#xff08;Low-Code Platform&#xff09;是一种软件开发工具&#xff0c;它允许用户通过图形化界面和少量的编码来快速构建应用程序。低代码平台的核心理念是通过抽象和最小化手工编码的方式&#xff0c;加速软件开发和部署的过程。以下是低代码平台的一些关键特性…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023