构建Docker容器监控系统(Cadvisor +InfluxDB+Grafana)

news2024/11/24 20:06:50

目录

案例概述

Cadvisor +InfluxDB+Grafana

1.1、 Cadvisor 

1.2、InfluxDB

1.3、Grafana

1.4、监控组件架构

1.5、开始部署

安装docker-ce

阿里云镜像加速器

创建自定义网络

创建influxdb容器

案例概述

        Docker作为目前十分出色的容器管理技术，得到大量企业的青睐，在生产环境中使用Docker容器部署服务及应用的场景越来越多。所以面对日益庞大的docker服务群应用，如何具有针对性的，有效的监控也变成了企业运维人员工作需求。

        容器信息采集及监控的方案有很多，有docker自身的docker stats命令、Scout、Data Dog、Prometheus等，本次为大家分享两款比较经典的容器开源监控组合方案Cadvisor +InfluxDB+Grafana和Cadvisor +Prometheus+Grafana。

Cadvisor +InfluxDB+Grafana

1.1、 Cadvisor 

        Cadvisor 是Google用来监测单节点资源信息的监控工具。 Cadvisor 提供了基础查询界面和http接口，方便其他组件如Grafana 、Prometheus等进行数据抓取。Cadvisor 可以对Docker主机上的资源及容器进行实时监控和性能数据采集，包括CPU使用情况、内存使用情况、网络吞吐量及文件系统使用情况等。Cadvisor 使用Go语言开发，利用Linux的Cgroups获取容器的资源使用信息。

        Google的Kubernetes中也默认地将其作为单节点的资源监控工具，各个节点默认会安装上Cadvisor组件。

Cadvisor 产品特点：

  • 可以展示主机和容器两个层次的监控数据。
  • 可以展示历史变化数据。
  • 谷歌公司的开源产品。
  • 监控指标齐全。
  • 方便部署，有官方的docker镜像。
  • 默认只在本地保存1分钟数据，可以集成InfluxDB等第三方存储使用。

        由于 Cadvisor 提供的操作界面略显简陋，而且需要在不同页面之间跳转，并且只能监控一个 Host，这不免会让人质疑它的实用性。但 Cadvisor 的一个亮点是它可以将监控到的数据导出给第三方工具，由这些工具进一步加工处理。

        我们可以把 Cadvisor  定位为一个监控数据收集器，收集和导出数据是它的强项，而非展示数据。

1.2、InfluxDB

        InfluxDB是一个由InfluxData开发的开源非关系型时序型数据库。它由Go写成，着力于高性能地查询与存储时序型数据。InfluxDB被广泛应用于存储系统的监控数据，IoT行业的实时数据等场景。同类型的数据库产品还有Elasticsearch、Graphite等。

        InfluxDB应用场景：性能监控，应用程序指标，物联网传感器数据和实时分析等的后端存储。

InfluxDB主要功能

  • 基于时间序列，支持与时间有关的相关函数（如最大，最小，求和等）；
  • 可度量性：你可以实时对大量数据进行计算；
  • 基于事件：它支持任意的事件数据；

InfluxDB主要特点

  • 无结构（无模式）：可以是任意数量的列；
  • 支持拓展；
  • 支持min, max, sum, count, mean, median 等一系列函数，方便统计；
  • 原生的HTTP支持，内置HTTP API；
  • 强大的类SQL语法；
  • 自带管理界面，方便使用；

1.3、Grafana

        Grafana是一个可视化面板（Dashboard）工具，有着非常漂亮的图表和布局等展示功能，功能齐全的度量仪表盘和图形编辑器，支持Graphite、zabbix、InfluxDB、Prometheus和OpenTSDB等组件作为数据源。

Grafana主要特性

  • 灵活丰富的图形化选项；
  • 可以混合多种风格；
  • 支持白天和夜间模式；
  • 支持多个数据源；

1.4、监控组件架构

监控组件架构图：

 

提示：InfluxDB用于数据存储，Cadvisor 用户数据采集，Grafana用于数据展示。

监控组件架构部署方案：

  1. 创建自定义网络monitor（自定义网络名称），用于后期容器加入此网络中；
  2. 创建Influxdb容器，创建数据用户、数据库；
  3. 创建Cadvisor 容器；
  4. 创建Grafana容器，配置grafana；

 

1.5、开始部署

安装docker-ce

[root@localhost ~]# iptables -F

[root@localhost ~]# setenforce 0

setenforce: SELinux is disabled

[root@localhost ~]# systemctl stop firewalld

[root@localhost ~]# cd /etc/yum.repos.d/

[root@localhost ~]# wget http://mirrors.aliyun.com/repo/Centos-7.repo

[root@localhost ~]# yum -y install yum-utils device-mapper-persistent-data lvm2

[root@localhost ~]# yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

[root@localhost ~]# yum -y install docker-ce

[root@localhost ~]# systemctl start docker

[root@localhost ~]# systemctl enable docker

[root@localhost ~]# docker version

Client: Docker Engine - Community
 Version:           24.0.5
 API version:       1.43
 Go version:        go1.20.6
 Git commit:        ced0996
 Built:             Fri Jul 21 20:39:02 2023
 OS/Arch:           linux/amd64
 Context:           default

Server: Docker Engine - Community
 Engine:
  Version:          24.0.5
  API version:      1.43 (minimum version 1.12)
  Go version:       go1.20.6
  Git commit:       a61e2b4
  Built:            Fri Jul 21 20:38:05 2023
  OS/Arch:          linux/amd64
  Experimental:     false
 containerd:
  Version:          1.6.22
  GitCommit:        8165feabfdfe38c65b599c4993d227328c231fca
 runc:
  Version:          1.1.8
  GitCommit:        v1.1.8-0-g82f18fe
 docker-init:
  Version:          0.19.0
  GitCommit:        de40ad0

阿里云镜像加速器

阿里云登录 - 欢迎登录阿里云，安全稳定的云计算服务平台欢迎登录阿里云，全球领先的云计算及人工智能科技公司，阿里云为200多个国家和地区的企业、开发者和政府机构提供云计算基础服务及解决方案。阿里云云计算、安全、大数据、人工智能、企业应用、物联网等云计算服务。https://cr.console.aliyun.com/

[root@localhost ~]# cat << END > /etc/docker/daemon.json

{
        "registry-mirrors":[ "https://nyakyfun.mirror.aliyuncs.com" ]
}
END

[root@localhost ~]# systemctl daemon-reload

[root@localhost ~]# systemctl restart docker

 下载组件镜像

[root@localhost ~]# docker pull tutum/influxdb

Using default tag: latest
latest: Pulling from tutum/influxdb
a3ed95caeb02: Pull complete 
23efb549476f: Pull complete 
aa2f8df21433: Pull complete 
ef072d3c9b41: Pull complete 
c9f371853f28: Pull complete 
a248b0871c3c: Pull complete 
749db6d368d0: Pull complete 
db2492acfcc3: Pull complete 
b7e7d2e12d53: Pull complete 
4272a53eef10: Pull complete 
9b2fefdb5321: Pull complete 
Digest: sha256:5b7c5e318303ad059f3d1a73d084c12cb39ae4f35f7391b79b0ff2c0ba45304b
Status: Downloaded newer image for tutum/influxdb:latest
docker.io/tutum/influxdb:latest

[root@localhost ~]# docker pull google/cadvisor

Using default tag: latest
latest: Pulling from google/cadvisor
ff3a5c916c92: Pull complete 
44a45bb65cdf: Pull complete 
0bbe1a2fe2a6: Pull complete 
Digest: sha256:815386ebbe9a3490f38785ab11bda34ec8dacf4634af77b8912832d4f85dca04
Status: Downloaded newer image for google/cadvisor:latest
docker.io/google/cadvisor:latest

[root@localhost ~]# docker pull grafana/grafana

Using default tag: latest
latest: Pulling from grafana/grafana
97518928ae5f: Pull complete 
5b58818b7f48: Pull complete 
d9a64d9fd162: Pull complete 
4e368e1b924c: Pull complete 
867f7fdd92d9: Pull complete 
387c55415012: Pull complete 
07f94c8f51cd: Pull complete 
ce8cf00ff6aa: Pull complete 
e44858b5f948: Pull complete 
4000fdbdd2a3: Pull complete 
Digest: sha256:18d94ae734accd66bccf22daed7bdb20c6b99aa0f2c687eea3ce4275fe275062
Status: Downloaded newer image for grafana/grafana:latest
docker.io/grafana/grafana:latest

[root@localhost ~]# docker images

REPOSITORY        TAG       IMAGE ID       CREATED         SIZE
grafana/grafana   latest    9b957e098315   20 months ago   275MB
google/cadvisor   latest    eb1210707573   4 years ago     69.6MB
tutum/influxdb    latest    c061e5808198   6 years ago     290MB

创建自定义网络

        为了把后期创建的Cadvisor+InfluxDB+Grafana这三个容器都加入自己定义的网络便于理解和管理，所以才新建一个自定义网络。

[root@localhost ~]# docker network create monitor

bfe09a56d338b3173da008204dac13e46873ab8c46601683bba6457178e7dbcc

[root@localhost ~]# docker network ls

NETWORK ID     NAME      DRIVER    SCOPE
dbe5fb2353e8   bridge    bridge    local
fc4521838733   host      host      local
bfe09a56d338   monitor   bridge    local
4e2c57eec484   none      null      local

创建influxdb容器

启动容器，tutum/influxdb镜像这里没有指定版本，默认会pull最新版本的influxdb：

[root@localhost ~]# docker run -d --name influxdb --net monitor -p 8083:8083 -p 8086:8086 tutum/influxdb

ec8e368b7d5e6f7b525fc823fdcc2c9f3d8665712645babcf0bba8bfeffe18a3

 

参数说明：

  • -d ：后台运行此容器；
  • --name ：启运容器分配名字influxdb；
  • --net : 把容器加入到新的网络monitor；
  • -p ：映射端口，8083端口为infuxdb后台控制端口，8086端口是infuxdb的数据端口；
  • tutum/influxdb：通过这个容器来运行的，默认会在docker官方仓库pull下来；

查看influxdb容器是否启动：

[root@localhost ~]# docker ps -l

CONTAINER ID   IMAGE            COMMAND     CREATED          STATUS          PORTS                                                                                  NAMES
ec8e368b7d5e   tutum/influxdb   "/run.sh"   45 seconds ago   Up 43 seconds   0.0.0.0:8083->8083/tcp, :::8083->8083/tcp, 0.0.0.0:8086->8086/tcp, :::8086->8086/tcp   influxdb

 访问influxdb控制台http://192.168.2.118:8083;

 

 

 

        从上图可以看到，在Query Templates选项中提供了常用的操作模板，可根据这些模版来管理influxdb,下面我们就来创建数据库和数据库用户。

CREATE USER "root" WITH PASSWORD '123456' WITH ALL PRIVILEGES

 

 创建Cadvisor 数据库cadvisor 、用户root，用户和数据库大家可以自行随意定义，用于后期grafana的配置：

CREATE DATABASE "cadvisor"

 

 创建Cadvisor 容器

[root@localhost ~]# docker run -d --volume=/:/rootfs:ro --volume=/var/run:/var/run:rw --volume=/sys:/sys:ro --volume=/var/lib/docker/:/var/lib/docker:ro --net monitor --publish=8080:8080  --name=cadvisor google/cadvisor -storage_driver=influxdb -storage_driver_db=cadvisor -storage_driver_host=influxdb:8086

3090cec78b680888f6c14776b3aaaa785676577fe2f781a09373a2a43397a1ac
  • -d：后台运行此容器；
  • --name：启运容器分配名字Cadvisor ；
  • --net：把容器加入到新的网络monitor；
  • -p：映射端口8080；
  • --mout：把宿主机的相文目录绑定到容器中，这些目录都是Cadvisor 需要采集的目录文件和监控内容；
  • -storage_driver：需要指定Cadvisor 的存储驱动、数据库主机、数据库名；
  • google/Cadvisor ：通过Cadvisor 这个镜像来运行容器，默认会在docker官方仓库把镜像pull下来；

查看Cadvisor 容器：

 

[root@localhost ~]# docker ps -l

CONTAINER ID   IMAGE             COMMAND                   CREATED              STATUS              PORTS                                       NAMES
3090cec78b68   google/cadvisor   "/usr/bin/cadvisor -…"   About a minute ago   Up About a minute   0.0.0.0:8080->8080/tcp, :::8080->8080/tcp   cadvisor

通过http://192.168.2.118:8080端口访问测试一下，第一次访问这个页面有点慢

 

 

        从上图可以看到，其实Cadvisor 也有基础的图形展示功能，我们这里主要用它来做数据采集。

准备测试镜像

[root@localhost ~]# docker run -itd --name nginx -p 800:80 nginx

Unable to find image 'nginx:latest' locally
latest: Pulling from library/nginx
648e0aadf75a: Pull complete 
262696647b70: Pull complete 
e66d0270d23f: Pull complete 
55ac49bd649c: Pull complete 
cbf42f5a00d2: Pull complete 
8015f365966b: Pull complete 
4cadff8bc2aa: Pull complete 
Digest: sha256:67f9a4f10d147a6e04629340e6493c9703300ca23a2f7f3aa56fe615d75d31ca
Status: Downloaded newer image for nginx:latest
19eb36575c3e16b5ebbc94cdd89d7c7f89642f223eab8d9190e8070b33a6714b

[root@localhost ~]# docker images nginx

REPOSITORY   TAG       IMAGE ID       CREATED       SIZE
nginx        latest    89da1fb6dcb9   11 days ago   187MB

[root@localhost ~]# docker ps -l

CONTAINER ID   IMAGE     COMMAND                   CREATED              STATUS              PORTS                                 NAMES
19eb36575c3e   nginx     "/docker-entrypoint.…"   About a minute ago   Up About a minute   0.0.0.0:800->80/tcp, :::800->80/tcp   nginx

 创建granafa容器

[root@localhost ~]# docker run -d --name grafana --net monitor -p 3000:3000 grafana/grafana

1850cc7d09fd452a20ff2c995de92073bb094c4aec0e8cbf88ec92e62fe1c581

查看运行结果：

[root@localhost ~]# docker ps -l

CONTAINER ID   IMAGE             COMMAND     CREATED          STATUS          PORTS                                       NAMES
1850cc7d09fd   grafana/grafana   "/run.sh"   48 seconds ago   Up 47 seconds   0.0.0.0:3000->3000/tcp, :::3000->3000/tcp   grafana

 访问granfana，通过http://192.168.2.118:3000端口的方式访问,默认账户密码（admin/admin），首次登陆需要更新密码。

 

 

 添加数据源Add data source，如下图：

 

 

 

 

 

 新建 Dashboard，如下图：

 

 

 

 

 

         到这里Cadvisor+InfluxDB+Grafana容器监控系统就部署完成了，至于其它grafana的监控项配置不重点介绍。大家如果感兴趣可以参考一些官方资料都是图形化的界面操作。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/848646.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

ad+硬件每日学习十个知识点（25）23.8.5（常见芯片类型、数字隔离芯片、IO扩展芯片TCAL6416）

ad+硬件每日学习十个知识点（25）23.8.5（常见芯片类型、数字隔离芯片、IO扩展芯片TCAL6416）

文章目录 1.常见的芯片类型2.数字隔离芯片有什么用&#xff1f;3.I2C的I/O扩展芯片说明4.16位I/O扩展芯片TCAL6416的features、applications、description5.TCAL6416的引脚功能6.TCAL6416的电气特性7.TCAL6416的典型特性&#xff08;图像&#xff09;8.TCAL6416的参数测量信息&…
阅读更多...
C++职工管理系统（课程设计报告）

C++职工管理系统（课程设计报告）

C职工管理系统 项目介绍设计任务设计要求 程序设计代码讲解实例输出 源码领取 项目介绍 项目介绍 该职工管理系统主要是用来管理整个公司的信息&#xff0c;基于C继承和多态来实现&#xff0c;同时也包含文件流操作。 设计任务 设计任务 (1)设计个职工管理系统&#xff0c;管理…
阅读更多...
你知道音频文件格式转换要用什么软件吗？今天就来分享给你

你知道音频文件格式转换要用什么软件吗？今天就来分享给你

你是否曾经遇到过这样的情况&#xff1f;你正在享受着一首心爱的歌曲&#xff0c;却突然发现它的音频格式不兼容你的设备或播放器&#xff1f;或者你需要将录音文件从一种格式转换成另一种&#xff0c;以便在不同场景中使用&#xff1f;音频格式转换软件就像是一个通向音乐自由…
阅读更多...
流量、日志分析

流量、日志分析

流量分析 知识点&#xff1a; 流量包分析简介 - CTF Wiki (ctf-wiki.org) Wireshark 基本语法&#xff0c;基本使用方法&#xff0c;及包过虑规则_wireshark语法_竹痕的博客-CSDN博客 MISC&#xff1a;流量包取证&#xff08;pcap文件修复、协议分析、数据提取&#xff09;…
阅读更多...
网络编程——数据包的组装和拆解

网络编程——数据包的组装和拆解

数据包的组装和拆解 一、数据包在各个层之间的传输 二、各个层的封包格式 1、链路层封包格式 -------------------------------------------------------------------------------------------------------------------------------------- | 目标MAC地址&#xff08;6字节&a…
阅读更多...
Java实现电影信息查询系统

Java实现电影信息查询系统

Java实现电影信息查询系统 需求分析代码实现小结Time 需求分析 首先每一部电影&#xff0c;都包含这部电影的相关信息&#xff0c;比如&#xff1a;电影的编号&#xff08;id&#xff09;、电影的名称&#xff08;name&#xff09;、电影的价格&#xff08;price&#xff09;、…
阅读更多...
数据结构: 线性表(带头双向循环链表实现)

数据结构: 线性表(带头双向循环链表实现)

之前一章学习了单链表的相关操作, 但是单链表的限制却很多, 比如不能倒序扫描链表, 解决方法是在数据结构上附加一个域, 使它包含指向前一个单元的指针即可. 那么怎么定义数据结构呢? 首先我们先了解以下链表的分类 1. 链表的分类 链表的结构非常多样, 以下情况组合起来就有…
阅读更多...
Plecs最新安装免费版下载链接/Plecs 电力仿真软件4.7.5版本下载/实测能用

Plecs最新安装免费版下载链接/Plecs 电力仿真软件4.7.5版本下载/实测能用

Plecs最新安装免费版下载链接 Plecs 电力仿真软件4.7.5版本下载 实测能用&#xff1a;
阅读更多...
信息安全：认证技术原理与应用.

信息安全：认证技术原理与应用.

信息安全&#xff1a;认证技术原理与应用. 认证机制是网络安全的基础性保护措施&#xff0c;是实施访问控制的前提&#xff0c;认证是一个实体向另外一个实体证明其所声称的身份的过程。在认证过程中&#xff0c;需要被证实的实体是声称者&#xff0c;负责检查确认声称者的实体…
阅读更多...
校园跑腿小程序为什么这么受欢迎呢？

校园跑腿小程序为什么这么受欢迎呢？

校园跑腿小程序是一种在校园内提供快递、代购、代拿快递、代办事项等服务的手机应用程序。它通常由学生或校园内的志愿者组成&#xff0c;通过该应用程序接受用户的委托&#xff0c;并且根据用户的需求完成任务。校园跑腿小程序通过与学校或社区合作&#xff0c;提供便利的服务…
阅读更多...
关于SQL查询面试题，测试会这些基本够用了

关于SQL查询面试题，测试会这些基本够用了

Sutdent表的定义 Score表的定义 1、创建student和score表 CREATE TABLE student ( id INT(10) NOT NULL UNIQUE PRIMARY KEY , name VARCHAR(20) NOT NULL , sex VARCHAR(4) , birth YEAR, department VARCHAR(20) , address VARCHAR(50) ); 创建score表…
阅读更多...
大数据-玩转数据-Flink-Transform

大数据-玩转数据-Flink-Transform

一、Transform 转换算子可以把一个或多个DataStream转成一个新的DataStream.程序可以把多个复杂的转换组合成复杂的数据流拓扑. 二、基本转换算子 2.1、map&#xff08;映射&#xff09; 将数据流中的数据进行转换, 形成新的数据流&#xff0c;消费一个元素并产出一个元素…
阅读更多...
研究人员发现特斯拉汽车能被越狱，可免费解锁付费功能

研究人员发现特斯拉汽车能被越狱，可免费解锁付费功能

Bleeping Computer 网站披露&#xff0c;柏林工业大学&#xff08;Technical University of Berlin&#xff09;的研究人员开发出一种新技术&#xff0c;可以破解特斯拉近期推出所有车型上使用的基于 AMD 的信息娱乐系统&#xff0c;并使其运行包括付费项目在内的任何软件。 实…
阅读更多...
22、springboot的Profile（通过yml配置文件配置 profile，快速切换项目的开发环境）

22、springboot的Profile（通过yml配置文件配置 profile，快速切换项目的开发环境）

springboot的Profile ★ 何谓Profile 应用所在的运行环境发生切换时&#xff0c;配置文件常常就需要随之修改。Profile&#xff1a;——就是一组配置文件及组件的集合。可以整个应用在不同的profile之间切换&#xff08;设置活动profile&#xff09;&#xff0c;整个应用都将使…
阅读更多...
QGIS二次开发三：显示Shapefile

QGIS二次开发三：显示Shapefile

Shapefile 为 OGR 所支持的最重要的数据格式之一&#xff0c;自然可以被 QGIS 加载。那么该如何显示Shapefile呢&#xff1f; 一、先上代码 #include <qgsapplication.h> #include <qgsproviderregistry.h> #include <qgsmapcanvas.h> #include <qgsvec…
阅读更多...
HDFS中snapshot快照机制

HDFS中snapshot快照机制

HDFS中snapshot快照机制 介绍作用功能实现相关命令和操作相关命令 介绍 snapshot是数据存储的某一时刻的状态记录&#xff0c;备份&#xff08;backup&#xff09;则是数据存储的某一个时刻的副本HDFS snapshot快照是整个文件系统或某个目录在某个时刻的镜像&#xff0c;该镜像…
阅读更多...
黑马机器学习day1

黑马机器学习day1

1.sklearn数据集 sklearn.datasets datasets.load_*() 获取小规模的数据集 datasets.fetch_*(data_homeNone) 获取大规模数据集 函数的第一个参数是data_home,标识数据集下载目录&#xff0c;默认/scikit_learn_data/ 1.1sklearn小数据集 sklearn.da…
阅读更多...
无涯教程-Perl - fcntl函数

无涯教程-Perl - fcntl函数

描述 该函数是系统fcntl()函数的Perl版本。使用FILEHANDLE上的SCALAR执行FUNCTION指定的功能。 SCALAR包含函数要使用的值,或者是任何返回信息的位置。 语法 以下是此函数的简单语法- fcntl FILEHANDLE, FUNCTION, SCALAR返回值 该函数返回0,但如果fcntl()的返回值为0,则返…
阅读更多...
Vue2：组件高级（下）

Vue2：组件高级（下）

Vue2&#xff1a;组件高级&#xff08;下&#xff09; Date: May 25, 2023 Sum: 自定义指令、插槽、商品列表、动态组件 目标&#xff1a; 自定义指令 基础概念&#xff1a; 概念&#xff1a; 内置指令&#xff1a;vue 官方提供了 v-for、v-model、v-if 等常用的内置指令。…
阅读更多...
整数规划——第七章 分支定界算法

整数规划——第七章 分支定界算法

整数规划——第七章 分支定界算法 目前大部分整数规划商业软件如CPLEX&#xff0c;Gurobi和BARON等都是基于分枝定界算法框架的。 7.1 最优性条件和界 考虑下列一般线性整数规划问题&#xff1a; (IP) min ⁡ c T x , s . t . A x ≤ b , x ∈ Z n (7.1) \text{(IP)}\quad…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023