Python 自动化: eip、cen监控数据对接到 grafana

news2024/11/29 4:35:38

aee5f7f96bddf6ef6234e681ce476de6.gif

新钛云服已累计为您分享775篇技术干货

01dfdfdb72ab2c3c291a81b7c818f59f.gif

概览

日常运维中，我们有时需要关注阿里云中 EIP 和 CEN 的监控数据，如果每次登录到平台查看，不太方便。

可以通过 API 获取监控数据，并输入到 influxDB，然后再到 Grafana 中展示，以便进行实施监控和可视化。

第一步：准备工作

在开始之前，我们需要确保已经完成以下准备工作

准备阿里云的EIP和CEN实例

这一步省略

了解如何获取EIP和CEN数据

了解如何获取 EIP 和 CEN 数据

我的方式是 EIP 通过 EIP 产品的 API 获取的，调试链接如下

https://next.api.aliyun.com/api/Vpc/2016-04-28/DescribeEipMonitorData?params={"RegionId":"cn-hangzhou"}

输入 RegionId 和 AllocationId 等必选信息后，复制平台生成的代码，进行更改，下文会介绍如何更改

295419130a16788a6c73a4a8564c10d3.png

‍‍‍

CEN 的监控数据未找到具体的 API，但可以通过云监控的数据获取，也是很方便的，链接如下

https://api.aliyun.com/api/Cms/2019-01-01/DescribeMetricData

获取 CEN 的具体数据时，可以通过 https://cms.console.aliyun.com/metric-meta/acs_cen/cen_tr?spm=a2c4g.11186623.0.0.252476ab1Ldq0T 得到

实际上，EIP 的数据也可以通过云监控获取

安装Python和所需的依赖库

下面示例的版本是截止发文时间最新版本，实际使用时，可以登录到上面的阿里云开放平台查看最新的版本

pip install alibabacloud_vpc20160428==5.1.0
pip install alibabacloud_cms20190101==2.0.11

‍‍‍

安装InfluxDB，并进行初始化配置

1. 为方便使用，我这里是使用 Docker 运行的 Influxdb

cd /data/influxdb


# 生成初始的配置文件
docker run --rm influxdb:2.7.1 influxd print-config > config.yml


# 启动容器
docker run --name influxdb -d -p 8086:8086 --volume `pwd`/influxdb2:/var/lib/influxdb2 --volume `pwd`/config.yml:/etc/influxdb2/config.yml influxdb:2.7.1

2. 安装完成后，可通过 http://ip:8086 登录到 Influxdb

3. 创建 bucket

只需要创建一个 bucket 就可以了，bucket 类似 MySQL 的 database

4. 获取 API Token，在 Python 插入数据时会用到

安装Grafana，并进行基本的配置

省略

第二步：获取API访问凭证

为了能够通过API访问阿里云的 EIP 和 CEN 数据，我们需要获取访问凭证。具体步骤如下

  1. 登录阿里云控制台

  2. 创建 RAM 用户并分配相应的权限

  3. 获取 RAM 用户的 Access Key ID 和 Access Key Secret

第三步：编写Python脚本

使用Python编写脚本来获取 EIP 和 CEN 的监控数据，并将其存储到 InfluxDB 中

本文仅展示部分代码，如需完整的代码，请联系本公众号获取~

调整从阿里云复制的示例代码

1. 修改构造函数，可以传如 access_key_id 和 access_key_secret

def __init__(self, access_key_id: str=access_key_id, access_key_secret: str=access_key_secret):
        self.access_key_id = access_key_id
        self.access_key_secret = access_key_secret

‍‍‍

2. 修改获取 eip 数据的函数

def get_eip_monitor_data(self, region_id, allocation_id, start_time: str, end_time: str):
        '''
        参考文档:
        https://api.aliyun.com/api/Vpc/2016-04-28/DescribeEipMonitorData?params={%22RegionId%22:%22cn-hangzhou%22}


        Args:
            region_id (_type_): _description_
            allocation_id (_type_): _description_
            start_time (str): utc时间
            end_time (_type_): utc时间


        Yields:
            _type_: _description_
            eip_tx: 流出的流量。单位: Byte
            eip_rx: 流入的流量。单位: Byte
        '''
        # 请确保代码运行环境设置了环境变量 ALIBABA_CLOUD_ACCESS_KEY_ID 和 ALIBABA_CLOUD_ACCESS_KEY_SECRET。
        # 工程代码泄露可能会导致 AccessKey 泄露，并威胁账号下所有资源的安全性。以下代码示例使用环境变量获取 AccessKey 的方式进行调用，仅供参考，建议使用更安全的 STS 方式，更多鉴权访问方式请参见：https://help.aliyun.com/document_detail/378659.html
        client = self.create_client(endpoint=f'vpc.{region_id}.aliyuncs.com', access_key_id=self.access_key_id, access_key_secret=self.access_key_secret)
        describe_eip_monitor_data_request = vpc_20160428_models.DescribeEipMonitorDataRequest(
            region_id=region_id,
            allocation_id=allocation_id,
            start_time=start_time,
            end_time=end_time
        )
        log.debug(msg=describe_eip_monitor_data_request)
        runtime = util_models.RuntimeOptions()
        log.debug(msg=runtime)
        try:
            # 复制代码运行请自行打印 API 的返回值
            results = client.describe_eip_monitor_data_with_options(describe_eip_monitor_data_request, runtime).body.eip_monitor_datas.eip_monitor_data
            for result in results:
                yield result


        except Exception as error:
            log.error(msg=error)
            return UtilClient.assert_as_string(error.message)

‍‍‍

3. 修改获取 cen 数据的函数

def get_cen_monitor_data(self, namespace, metric_name, start_time: str, end_time: str):
        # 请确保代码运行环境设置了环境变量 ALIBABA_CLOUD_ACCESS_KEY_ID 和 ALIBABA_CLOUD_ACCESS_KEY_SECRET。
        # 工程代码泄露可能会导致 AccessKey 泄露，并威胁账号下所有资源的安全性。以下代码示例使用环境变量获取 AccessKey 的方式进行调用，仅供参考，建议使用更安全的 STS 方式，更多鉴权访问方式请参见：https://help.aliyun.com/document_detail/378659.html
        client = self.create_client(access_key_id=self.access_key_id, access_key_secret=self.access_key_secret)
        describe_metric_list_request = cms_20190101_models.DescribeMetricListRequest(
            namespace=namespace,
            metric_name=metric_name,
            start_time=start_time,
            end_time=end_time,
        )
        runtime = util_models.RuntimeOptions()
        try:
            # 复制代码运行请自行打印 API 的返回值
            return client.describe_metric_list_with_options(describe_metric_list_request, runtime).body.datapoints


        except Exception as error:
            # 如有需要，请打印 error
            UtilClient.assert_as_string(error.message)

‍‍‍

编写InfluxDB相关的代码

将 InfluxDB 的写入代码独立出来可以方便后续其他业务的调用

下面的代码在获取 token 时，使用了 1password，可视情况进行修改，例如通过环境变量的方式获取 Token

#!/usr/bin/env python3




import influxdb_client, time
import datetime
from influxdb_client import InfluxDBClient, Point, WritePrecision
from influxdb_client.client.write_api import SYNCHRONOUS
from modules.onepassword import OnePassword


my1p = OnePassword()




class InfluxClient:
    token = my1p.get_item_by_title(title='my_influxdb')['api']
    def __init__(self, url: str='http://10.1.1.1:8086', org: str='tyun', token: str=token):
        self.url = url
        self.org = org
        self.token = token
    
    def create_client(self):
        return influxdb_client.InfluxDBClient(url=self.url, token=self.token, org=self.org)


    def write_aliyun_eip(self, bucket: str='example', table_name: str='test1', location: str=None, eip_tx: int=None, eip_rx: int=None, time_stamp: str=None):
        write_api = self.create_client().write_api(write_options=SYNCHRONOUS)


        point = (
            Point(table_name)
            .tag("location", location)
            .field("eip_tx", eip_tx)
            .field("eip_rx", eip_rx)
            .time(time_stamp)
        )
        write_api.write(bucket=bucket, org=self.org, record=point)


    def write_cen(self, bucket: str='example', table_name: str='test1', location: str=None, tr_instance_id: str=None, value: int=None, time_stamp: str=None):
        write_api = self.create_client().write_api(write_options=SYNCHRONOUS)
        point = (
            Point(table_name)
            .tag("location", location)
            .tag("tr_instance_id", tr_instance_id)
            .field("value", value)
            .time(time_stamp)
        )
        write_api.write(bucket=bucket, org=self.org, record=point)








def main():
    influx_client = InfluxClient() 
    for i in range(5):
        influx_client.write_data(bucket='example', table_name='test1', location='hangzhou', EipBandwidth=i, EipFlow=i)
        time.sleep(1)




if __name__ == '__main__':
    main()

‍‍‍

编写主程序

1. 获取 eip 并插入到 influxdb

#!/usr/bin/env python3


from collections import namedtuple
from modules.aliyun.eip import Eip
from modules.database.influxdb.write import InfluxClient
from modules.tools.my_time import MyDatetime as my_time


eip = Eip()
influx_client = InfluxClient()


def insert_data(region_id, location, table_name, allocation_id, start_time, end_time):
    '''
    _summary_


    Args:
        region_id (_type_): _description_
        location (_type_): _description_
        table_name (_type_): _description_
        allocation_id (_type_): _description_
        start_time (_type_): _description_
        interval (int, optional): 取值的范围, 默认是5.
    '''


    eip_datas = eip.get_eip_monitor_data(region_id=region_id, allocation_id=allocation_id, start_time=start_time, end_time=end_time)
    for eip_data in eip_datas:
        # print(eip_data)
        influx_client.write_aliyun_eip(bucket='example',
                                       table_name=table_name,
                                       location=location,
                                       eip_rx=eip_data.eip_rx,
                                       eip_tx=eip_data.eip_tx,
                                       time_stamp=eip_data.time_stamp)


Instance = namedtuple('Instance', ['region_id', 'allocation_id', 'bandwidth', 'env'])


hangzhou = Instance(region_id='hangzhou', allocation_id='eip-xxxxxxxxx', bandwidth='100m', env='prod')




eip_site_list = [hangzhou]


for eip_site in eip_site_list:
    insert_data(region_id=f'cn-{eip_site.region_id}', 
                location=f'cn-{eip_site.region_id}',
                table_name='eip',
                allocation_id=eip_site.allocation_id,
                start_time=my_time.get_utc_now_str_offset(offset=-60*10),
                end_time=my_time.get_utc_now_str()
                )

‍‍‍

2. 获取 cen 数据并插入到 influxdb

#!/usr/bin/env python3


import ast
from modules.aliyun.metrics import Metrics
from modules.database.influxdb.write import InfluxClient
from modules.tools.my_time import MyDatetime as my_time
from modules.logger.client import LogClient




metrics = Metrics()
influx_client = InfluxClient()
log = LogClient(app='example_traffic')




def tr_instance_id_to_location(tr_instance_id):
    if tr_instance_id == 'tr-xxxxxxxxxxxxx':
        location = 'hangzhou'
        bandwidth = '20m'
    else:
        location = 'none'
    return location, bandwidth




metric_names = ['AttachmentOutRate', 'AttachmentInRate']




for metric_name in metric_names:
    results = metrics.get_cen_monitor_data(namespace='acs_cen', 
                                           metric_name=metric_name, 
                                           start_time=my_time.get_utc_now_str_offset(offset=-60*10),
                                           end_time=my_time.get_utc_now_str())
    log.debug(msg=results)


    for result in ast.literal_eval(results):
        result['metric_name'] = metric_name
        trInstanceId = result['trInstanceId']
        result['location'] = tr_instance_id_to_location(tr_instance_id=trInstanceId)[0]
        result['bandwidth'] = tr_instance_id_to_location(tr_instance_id=trInstanceId)[1]
        
        log.info(msg=metric_name + ' ' + my_time.timestamp_to_str(timestamp=result['timestamp']) + ' ' + ' ' + result['location'] + ' ' + str(result['Value']))


        influx_client.write_cen(bucket='example', 
                                table_name=metric_name, 
                                location=result['location'],
                                tr_instance_id=result['trInstanceId'], 
                                value=result['Value'], 
                                time_stamp=my_time.timestamp_to_str(timestamp=result['timestamp']))

第四步：配置Grafana

在Grafana中配置 InfluxDB 数据源，并创建相应的仪表盘来展示 EIP 和 CEN 的监控数据。具体步骤如下：

  1. 添加 InfluxDB 数据源，并配置连接信息

    我用的是 Flux 的查询语言，配置数据源时，需要注意以下事项

  • 数据源名字推荐使用：InfluxDB-Flux，注明是 Flux 类型的数据源

  • InfluxDB Details 填写 Organization、Token、Default Bucket 即可

  • 不用填写 HTTP 认证

创建仪表盘，配置 eip 和 cen 的查询语句

‍· EIP 接收方向的流量

from(bucket: "example")
  |> range(start: v.timeRangeStart, stop: v.timeRangeStop)
  |> filter(fn: (r) => r["_measurement"] == "eip")
  |> filter(fn: (r) => r["_field"] == "eip_rx")
  |> filter(fn: (r) => r["location"] == "cn-hangzhou")
  |> aggregateWindow(every: v.windowPeriod, fn: last, createEmpty: false)
  |> map(fn: (r) => ({ r with _value: r._value / 8 }))
  |> yield(name: "last")

· EIP 发送方向的流量

from(bucket: "example")
  |> range(start: v.timeRangeStart, stop: v.timeRangeStop)
  |> filter(fn: (r) => r["_measurement"] == "eip")
  |> filter(fn: (r) => r["_field"] == "eip_tx")
  |> filter(fn: (r) => r["location"] == "cn-hangzhou")
  |> aggregateWindow(every: v.windowPeriod, fn: last, createEmpty: false)
  |> map(fn: (r) => ({ r with _value: r._value / 8 }))
  |> yield(name: "last")

‍‍‍

· CEN 发送方向的流量

from(bucket: "example")
  |> range(start: v.timeRangeStart, stop: v.timeRangeStop)
  |> filter(fn: (r) => r["_measurement"] == "AttachmentOutRate")
  |> filter(fn: (r) => r["_field"] == "value")
  |> filter(fn: (r) => r["location"] == "hangzhou")
  |> aggregateWindow(every: v.windowPeriod, fn: last, createEmpty: false)
  |> yield(name: "last")

‍‍‍

· CEN 接收方向流量

from(bucket: "example")
  |> range(start: v.timeRangeStart, stop: v.timeRangeStop)
  |> filter(fn: (r) => r["_measurement"] == "AttachmentInRate")
  |> filter(fn: (r) => r["_field"] == "value")
  |> filter(fn: (r) => r["location"] == "hangzhou")
  |> aggregateWindow(every: v.windowPeriod, fn: last, createEmpty: false)
  |> yield(name: "last")

‍‍‍

eip 和 cen 的数据单位都是 bit/sec(SI)

建议配置 Grafana 面板的 Thresholds

100M为 100000000，配置后会显示一条红线，可以更直观的看到流量的占用情况

总结

通过本文的步骤，我们可以通过API获取阿里云 EIP 和 CEN 的监控数据，将其存储到 InfluxDB，并通过 Grafana 进行实时监控和可视化。这为我们提供了一种自动化的方式来监控和管理阿里云网络资源。

    推荐阅读   

814b981bafa1181a22fd55abed0a766d.png

4e3736b1f16a68fb5f675670083ccae2.png

    推荐视频    

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1218356.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

2023最新最全【虚幻4引擎】下载安装零基础教程

2023最新最全【虚幻4引擎】下载安装零基础教程

1、创建Epic Games账户 我们先打开浏览器，输入以下网址：unrealengine.com 随后点击【立即开始】 选择许可证类型，此处提供三种选项，分别是【游戏】、【非游戏】以及【私人定制】 第一类许可证适用于游戏和商业互动产品&#xff…
阅读更多...
CSS特效012：边框线条环绕流动效果

CSS特效012：边框线条环绕流动效果

CSS常用示例100专栏目录 本专栏记录的是经常使用的CSS示例与技巧，主要包含CSS布局，CSS特效，CSS花边信息三部分内容。其中CSS布局主要是列出一些常用的CSS布局信息点，CSS特效主要是一些动画示例，CSS花边是描述了一些CSS…
阅读更多...
小程序如何添加打印机来打印订单

小程序如何添加打印机来打印订单

在采云小程序中，支持打印订单的小票、标签、发货单和电子面单。小票打印机用于打印小票，类似于超市小票、外卖小票等。标签打印机用于打印商品标签，类似于奶茶上面粘贴的标签，用于表示饮料名称和规格等。货单打印机用于打印发货单…
阅读更多...
Rust 语言中的结构体

Rust 语言中的结构体

目录 1、结构体 2、结构体的定义和实例化 2.1 使用字段初始化简写语法 2.2 使用结构体更新语法从其他实例创建实例 2.3 没有命名字段的元组结构体 2.4 没有任何字段的类单元结构体 2.5 结构体示例程序 3、方法 3.1 关联函数 3.2 多个 impl 块 1、结构体 struct&…
阅读更多...
C++二分查找算法：规划兼职工作

C++二分查找算法：规划兼职工作

题目 你打算利用空闲时间来做兼职工作赚些零花钱。 这里有 n 份兼职工作，每份工作预计从 startTime[i] 开始到 endTime[i] 结束，报酬为 profit[i]。 给你一份兼职工作表，包含开始时间 startTime，结束时间 endTime 和预计报酬 pro…
阅读更多...
DDR3 的相关设计规范(个人总结)

DDR3 的相关设计规范(个人总结)

文章目录 阻抗控制布局布线电源处理时序要求 DDR3 的相关设计规范(个人总结) 阻抗控制 DDR3 要严格控制阻抗，单线 50ohm，差分 100ohm，差分一般为时钟、DQS。在走线过程中，尽量减小阻抗跳变的因素，比如:换层(无法避免…
阅读更多...
Python编程技巧 – 使用列表(list)

Python编程技巧 – 使用列表(list)

Python编程技巧 – 使用列表(list) Python Programming Skills – Using a List 在Python编程语言中，我们会用到许多列表（List）。 一门强大的编程语言会包含列表（或者数组）的数据结构。列表（或数组&#…
阅读更多...
workman使用手册1.0

workman使用手册1.0

workman官网地址：高性能PHP应用容器 workerman 1：把workman项目放到linux服务器后，需要启动你的php文件，才可以使用 定位到项目根目录：例：cd /mnt/workman 启动代码：php outin.php start -d 停…
阅读更多...
【计算机网络笔记】网络地址转换(NAT)

【计算机网络笔记】网络地址转换(NAT)

系列文章目录 什么是计算机网络？ 什么是网络协议？ 计算机网络的结构 数据交换之电路交换 数据交换之报文交换和分组交换 分组交换 vs 电路交换 计算机网络性能（1）——速率、带宽、延迟 计算机网络性能（2）…
阅读更多...
鸿蒙LiteOs读源码教程+向LiteOS中添加一个系统调用

鸿蒙LiteOs读源码教程+向LiteOS中添加一个系统调用

本文分为2个部分：第1部分简要介绍如何读鸿蒙Liteos源码，第2部分是实验向LiteOS中添加一个系统调用的完整过程。 前置资料： imx6ull开发板使用方式详解 源码下载 编译运行简单程序 Ubuntu虚拟机使用鸿蒙LiteOs操作系统常见错误汇总 一、鸿…
阅读更多...
二进制的形式在内存中绘制一个对象实例

二进制的形式在内存中绘制一个对象实例

一、引用类型实例的内存布局 从内存布局的角度来看，一个引用类型的实例由如下图所示的三部分组成：ObjHeader TypeHandle Fields。前置的ObjHeader用来缓存哈希值和同步状态，TypeHandle部分存储类型对应方法表（Method Table&…
阅读更多...
2023年亚太杯数学建模思路 - 复盘：光照强度计算的优化模型

2023年亚太杯数学建模思路 - 复盘：光照强度计算的优化模型

文章目录 0 赛题思路1 问题要求2 假设约定3 符号约定4 建立模型5 模型求解6 实现代码 建模资料 0 赛题思路 （赛题出来以后第一时间在CSDN分享） https://blog.csdn.net/dc_sinor?typeblog 1 问题要求 现在已知一个教室长为15米，宽为12米&…
阅读更多...
Golang 协程、主线程

Golang 协程、主线程

Go协程、Go主线程 1)Go主线程(有程序员直接称为线程/也可以理解成进程):一个Go线程上，可以起多个协程，你可以这样理解，协程是轻量级的线程。 2)Go协程的特点 有独立的栈空间 共享程序堆空间 调度由用户控制 协程是轻量级的线程 go线程-…
阅读更多...
[CSS] 文本折行

[CSS] 文本折行

文本折行一般分为两种情况： CJK（Chinese/Japanese/Korean） 字符和非 CJK 字符。一般非 CJK 字符折行发生在两个单词的空格中间，见下图： 图中文本 “hello world” 包裹容器的宽度为 2rem，但是 hello 并没有…
阅读更多...
RocketMQ的适用场景有哪些？

RocketMQ的适用场景有哪些？

程序员的公众号：源1024，获取更多资料，无加密无套路！ 最近整理了一波电子书籍资料，包含《Effective Java中文版 第2版》《深入JAVA虚拟机》，《重构改善既有代码设计》，《MySQL高性能-第3版》&…
阅读更多...
基于单片机的自动循迹小车(论文+源码)

基于单片机的自动循迹小车(论文+源码)

1.系统设计 此次基于单片机的自动循迹小车的设计系统，结合循迹模块来共同完成本次设计，实现小车的循迹功能，其其整体框架如图2.1所示。其中，采用STC89C52单片机来作为核心控制器，负责将各个传感器等模块链接起来&…
阅读更多...
qt槽函数的四种写法

qt槽函数的四种写法

槽函数的四种写法 一,Qt4写法 不推荐这种写法,如果SLGNAL写错了,或者信号名字,槽函数名字写错了.编译器检查不出来,导致程序无响应,引起不必要的误解 connect(ui.btnOpen,SLGNAL(clicked),this,SLOT(open()));二,Qt5写法 推荐使用这种写法，信号名字、槽函数名字…
阅读更多...
uniapp使用Canvas实现电子签名

uniapp使用Canvas实现电子签名

来源： 公司的一个需求，需要给新注册的会员和客商需要增加签署协议功能； 之前的思路： 1、使用vue-signature-pad来实现电子签名，但是安卓手机不兼容； 2、uniapp插件市场来实现，但是对HBuilderX…
阅读更多...
2023年09月 Python（六级）真题解析#中国电子学会#全国青少年软件编程等级考试

2023年09月 Python（六级）真题解析#中国电子学会#全国青少年软件编程等级考试

Python等级考试（1~6级）全部真题・点这里 一、单选题（共25题，每题2分，共50分） 第1题 以下选项中，不是tkinter变量类型的是？（　） A: IntVar() B: StringVar() C: DoubleVar() D: FloatVar() 答案：D tkinter 无 FloatVar()变量类型。 第2题 关于tkinter，以下说…
阅读更多...
web3资讯及远程工作

web3资讯及远程工作

各位如果想了解区块链相关的消息可以通过如下网址了解，里面还会有相关职位招聘（包括远程工作），还可以在里面进行发帖，进入即可获得1000积分，后期可以兑换一些礼品Cryptosquare
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023