文章目录
- Prometheus本地存储简介
- block
- WAL
- 本地存储配置参数
- VictoriaMetrics
- 简介
- 单机版部署使用
- 安装VictoriaMetrics
- 配置Prometheus使用Victoriametrics
- 配置Grafana以Victoriametrics作为数据源
- 集群版部署使用
- 部署vmstorage
- 部署vmselect
- 部署vminsert
- 配置Prometheus使用vminsert
- 配置Grafana以vmselect为数据源
- 开启数据复制
Prometheus提供了两种存储方式,分别是本地存储和远端存储
Prometheus本地存储简介
Prometheus的本地存储被称为Prometheus TSDB,目前是V3版本,根据官方介绍其有着非常高效的时间序列数据存储方法,每个采样数据仅占3.5byte左右空间,上百万条时间序列,30s间隔,保存60天,仅占200多G空间
默认情况下,Prometheus将采集到的数据保存在本地的TSDB数据库中,默认目录为Prometheus安装目录下的data目录。数据写入过程为先把数据写入wal日志并放在内存中,然后2个小时后将内存数据放入一个新的block块,同时再把新的数据写入内存并在2小时后再保存至一个新的block块,依次类推
这里涉及到两个组成部分:block和wal
block
Prometheus TSD将存储的监控数据按时间分割为block,block的大小并不固定,默认最小的block保存2h的数据,随着数据量的不断增加,TSDB会将小的block合并为大的block,例如将3个2h的block合并为一个6h的block,这样不仅可以减少数据存储,还可以减少block个数,便于对数据进行检索。
在实际存储中,block就是Prometheus TSDB数据目录下那些以01开头的存储目录,如下图:
block主要包含4个部分:chunks、index、meta.josn、tombstones,如下图:
1. chunks
chunks主要用于保存压缩后的时序数据。每个chunk的大小为512M,如果超过,则会被分割为多个chunk保存,且以数字编号命名
2. index
index是为了对时序数据进行快速检索和查询而设计,主要用来记录chunk中时序的偏移位置
3. meta.json
meta.json记录block的元数据信息,主要包括一个数据块记录样本的起始时间、截至时间、样本数、时序数和数据源等信息,这些元数据信息在后期对block进行维护(删除过期block、合并block等)时会用到。
下面是一个meta.json文件示例
{
"ulid": "01GT3F29KBPHPJRDSF5Z38MCRZ", #blcok的Id
"minTime": 1677290405717, #block的起始时间
"maxTime": 1677297600000, #block的截至时间
"stats": {
"numSamples": 1374480, #样本数量
"numSeries": 2573, #时序数量
"numChunks": 11454 #chunk数量
},
"compaction": {
"level": 1, #压缩级别
"sources": [
"01GT3F29KBPHPJRDSF5Z38MCRZ" #此block由哪些block压缩合并而来
]
},
"version": 1
}
4. tombstones
tombstones用于对数据进行软删除。TSDB在删除block数据块时会将整个目录删除,但如果只删除一部分数据块的内容,则可以通过 tombstones进行软删除
这些block按照时间顺序被分割为一个个block,其中第一个block被称为head-block,它被存储在内存中并且允许修改,而后面的block以只读的方式存储在硬盘中。如下图:
head-block和后面的block都被初始设定为保存2h的数据,当head-block超过1.5倍大小(3h)的时候,它将被重新分割成2h和1h两部分,前面一部分变为只读块被保存到硬盘中。
WAL
WAL(write-ahead logging,预写日志)是关系型数据库中利用日志来实现事务性和持久性的一种技术,即在进行某个操作之前先将这件事情记录下来,以便之后对数据进行回滚、重试等操作并保证数据可靠性。
Prometheus为了防止丢失暂存在内存中的还未被写入磁盘的监控数据’、引入了WAL机制。WAL被分割为默认大小为128M的文件段,文件段以数字命名,例如00000001、00000002等,以此类推。
按照每种对象设定的采集周期,Prometheus会将周期性采集的监控数据先写入head-block中,但这些数据没有被持久化,TSDB通过WAL将提交的数据先保存到磁盘中,在TSDB宕机重启后,会首先启动多协程读取WAL,从而恢复之前的状态。
另外从Prometheus v2.19.0开始,Prometheus引入了内存映射,将head-block中已填充的完整的chunk,刷新到磁盘(即保存在chunks_head目录下的数据)并从磁盘进行内存映射,同时仅将引用存储在内存中。通过内存映射,可以在需要时使用该引用将chunk动态加载到内存中。这是操作系统提供的功能。通过引入内存映射,减少了Prometheus的内存消耗,虽然填充完毕的chunk会被刷到磁盘上,但是对于该部分的操作预写入日志不会被删除,直到该chunk所属的block完整落盘
本地存储配置参数
--storage.tsdb.path #指定数据保存位置
--storage.tsdb.retention.time #指定数据保存时间,默认15d
--storage.tsdb.retention.size #指定block可以保存的数据大小
--query.timeout #最大查询超时时间,默认2m
--query.max-concurrency #最大查询并发数,默认20
VictoriaMetrics
简介
VictoriaMetrics是一个快速、支持高可用且可扩展的开源时序数据库和监控解决方案。可用做Promethazine的远端存储。
VictoriaMetrics官网:https://victoriametrics.com/
官方文档:https://docs.victoriametrics.com/
项目地址:https://github.com/VictoriaMetrics
VictoriaMetrics的优点:
- 兼容Prometheus相关API,可以直接用作Grafana的数据源
- 内存占用率低
- 查询速度快
- 设置和操作简单
- 支持水平扩容和HA(集群版)
- 高压缩比等等
VictoriaMetrics分为集群版和单机版,根据实际需求选择即可。
- 单机版:直接通过二进制文件运行即可,官方建议采集数据点(data points)低于100w/s,推荐VM单节点版,简单好维护,但不支持告警。
- 集群版:支持数据水平拆分,根据功能拆分为不同的组件vmselect、vminsert、vmstorage,如果替换Prometheus还可以加上vmagent和vmalert
下图是集群版的架构图:
相关组件作用如下:
- vmstorage:数据存储即查询结果返回,默认端口8482
- vminsert:写入组件,vminsert负责接收数据写入请求并根据对数据的hash结果将数据写入到后端不同的vmstorage之上,实现数据分片。默认端口8480,属于无状态服务可水平扩展
- vmselect:查询组件,负责接收查询请求,并连接到vmstorage查询数据。默认端口8481,属于无状态服务可水平扩展
另外还有一些可选组件:
- vmagent:类似于Prometheus,负责从各种数据来源收集指标数据
- vmalert:类似于Alertmanager,负责实现告警功能
- vmctl:命令行工具
单机版部署使用
安装VictoriaMetrics
下载单机版安装包
wget https://github.com/VictoriaMetrics/VictoriaMetrics/releases/download/v1.87.2/victoria-metrics-linux-amd64-v1.87.2.tar.gz
tar xf victoria-metrics-linux-amd64-v1.87.2.tar.gz
mv victoria-metrics-prod /usr/bin/
victoria-metrics-prod -h #查看参数
准备service文件
root@vm-node-01:~# cat /lib/systemd/system/victoria-metrics.service
[Unit]
Description=For Victoria-metrics-prod single service
After=network.target
[Service]
ExecStart=/usr/bin/victoria-metrics-prod -httpListenAddr=0.0.0.0:8428 -storageDataPath=/data/victoria-metrics
-retentionPeriod=3
[Install]
WantedBy=multi-user.target
启动服务
mkdir -p /data/victoria-metrics
systemctl daemon-reload
systemctl start victoria-metrics.service
systemctl status victoria-metrics.service
systemctl enable victoria-metrics.service
服务启动后可以访问VictoriaMetrics的默认界面,从这里可以选择跳转到其他界面,例如数据查询界面、targets页面等
配置Prometheus使用Victoriametrics
修改Prometheus配置,添加remote_write配置
global:
..........
remote_write:
- url: http://192.168.122.24:8428/api/v1/write
配置修改完成后重启Prometheus
systemctl restart prometheus
然后可以在Victoriametrics的界面,查询是否已经有数据写入
如上图所示,可以看到node-exporter的数据指标已经写入到Victoriametrics
配置Grafana以Victoriametrics作为数据源
添加数据源,类型选择Prometheus
导入node-exporter模板验证数据,模板ID 11074
如上图所示,模板正常显示数据,表示可以从Victoriametrics单机获取数据
集群版部署使用
环境规划
192.168.122.24 vm-node-01 vmselect/vminsert/vmstorage
192.168.122.25 vm-node-02 vmselect/vminsert/vmstorage
192.168.122.26 vm-node-03 vmselect/vminsert/vmstorage
192.168.122.14 haproxy-node-01 haproxy/keepalived
192.168.122.15 haproxy-node-02 haproxy/keepalived
192.168.122.19 VIP
整体结构如下图:
分别在3个节点执行以下部署步骤
部署vmstorage
下载集群版的安装包
wget https://github.com/VictoriaMetrics/VictoriaMetrics/releases/download/v1.87.2/victoria-metrics-linux-amd64-v1.87.2-cluster.tar.gz
tar xf victoria-metrics-linux-amd64-v1.87.2-cluster.tar.gz
mv vminsert-prod vmselect-prod vmstorage-prod /usr/bin/
vmstorage-prod -h #查看运行参数
准备service文件
root@vm-node-01:~# cat /lib/systemd/system/vmstorage.service
[Unit]
Description=Vmstorage Server
After=network.target
[Service]
Restart=on-failure
WorkingDirectory=/tmp
ExecStart=/usr/bin/vmstorage-prod -loggerTimezone Asia/Shanghai -storageDataPath /data/vmstorage-data -httpListenAddr :8482 -vminsertAddr :8400 -vmselectAddr :8401
[Install]
WantedBy=multi-user.target
vmstorage会监听3个端口,8482是自身API端口;8400提供给vminsert,负责处理数据写入;8401提供给vmselect,负责数据读取。
启动vmstorage服务
mkdir --p /data/vmstorage-data
systemctl daemon-reload
systemctl start vmstorage.service
systemctl status vmstorage.service
systemctl enable vmstorage.service
部署vmselect
准备service文件
vmselect自身监听8481端口对外提供服务,-storageNode用于指定vmstorage地址
root@vm-node-01:~# cat /lib/systemd/system/vmselect.service
[Unit]
Description=Vmselect Server
After=network.target
[Service]
Restart=on-failure
WorkingDirectory=/tmp
ExecStart=/usr/bin/vmselect-prod -httpListenAddr :8481 -storageNode=192.168.122.24:8401,192.168.122.25:8401,192.168.122.26:8401
[Install]
WantedBy=multi-user.target
启动vmstorage服务
systemctl daemon-reload
systemctl start vmselect.service
systemctl status vmselect.service
systemctl enable vmselect.service
在haproxy中添加vmselect后端配置
listen vmselect-8481
bind 192.168.122.19:8481
option tcplog
mode tcp
balance source
server vmselect-node1 192.168.122.24:8481 check inter 2000 fall 3 rise 5
server vmselect-node2 192.168.122.25:8481 check inter 2000 fall 3 rise 5
server vmselect-node3 192.168.122.26:8481 check inter 2000 fall 3 rise 5
部署vminsert
准备service文件
vminsert自身监听8480端口对外提供服务,-storageNode用于指定vmstorage地址
root@vm-node-01:~# cat /lib/systemd/system/vminsert.service
[Unit]
Description=Vminsert Server
After=network.target
[Service]
Restart=on-failure
WorkingDirectory=/tmp
ExecStart=/usr/bin/vminsert-prod -httpListenAddr :8480 -storageNode=192.168.122.24:8400,192.168.122.25:8400,192.168.122.26:8400
[Install]
WantedBy=multi-user.target
启动服务
systemctl daemon-reload
systemctl start vminsert.service
systemctl status vminsert.service
systemctl enable vminsert.service
在haproxy中添加vminsert后端配置
listen vminsert-8480
bind 192.168.122.19:8480
option tcplog
mode tcp
balance source
server vminsert-node1 192.168.122.24:8480 check inter 2000 fall 3 rise 5
server vminsert-node2 192.168.122.25:8480 check inter 2000 fall 3 rise 5
server vminsert-node3 192.168.122.26:8480 check inter 2000 fall 3 rise 5
配置Prometheus使用vminsert
修改Prometheus配置,添加remote_write配置
global:
..........
remote_write:
- url: http://192.168.122.19:8480/insert/0/prometheus
配置修改完成后重启Prometheus
systemctl restart prometheus
配置Grafana以vmselect为数据源
Grafana添加数据源
导入模板查看数据,模板ID 11074
如上图所示,模板正常显示数据,表示可以从vmselect读取数据
开启数据复制
默认情况下,数据被vmselect组件基于hash算法分别写入到不同的vmstorage节点,数据只保存一份,如果有vmstorage节点宕机会造成部分数据丢失。可以启用vminsert组件的-replicationFactor=N参数启用复制功能,将数据分别在N个节点上都写入一份以实现数据的高可用。
但复制功能会增加vmselect和vminsert组件的资源使用率,因为vminsert需要写入多份数据,vmselect从多个vmstorage读取数据之后需要执行去重操作。官方建议还是将数据的高可用交给vmstorage数据存储路径的磁盘(例如使用ceph rbd),并定期备份数据
更多介绍可以参考官方文档: https://docs.victoriametrics.com/Cluster-VictoriaMetrics.html#replication-and-data-safety