华为云.云日志服务LTS及其基本使用

news2024/11/24 16:26:25
云计算
云日志服务LTS及其基本使用

- 文章信息 - Author: 李俊才 (jcLee95)
Visit me at CSDN: https://jclee95.blog.csdn.net
My WebSitehttp://thispage.tech/
Email: 291148484@163.com.
Shenzhen China
Address of this article:https://blog.csdn.net/qq_28550263/article/details/140479964
HuaWei:https://bbs.huaweicloud.com/blogs/431260

【介绍】:本文详细介绍了华为云日志服务(LTS)的基本概念和使用方法,包括创建日志组和日志流、安装ICAgent、配置日志采集规则、查看和分析采集到的实时日志等,为读者提供了一个完整的LTS入门指南,帮助读者快速上手使用LTS进行基本日志管理。

在这里插入图片描述


1. 概述

1.1 华为云DRS简介

华为云日志服务(Log Tank Service,简称LTS)是一项一站式日志数据解决方案。它支持日志采集、搜索分析、日志存储、日志加工、可视化仪表盘、日志告警等功能。LTS提供稳定可靠的服务,用户无需关注扩缩容等资源问题,同时降低了日志运维门槛,有助于提高问题定位和指标监控的效率。

LTS的主要特点包括:

  1. 实时日志采集:支持通过ICAgent、云服务、APISDK等多种方式采集日志。

  2. 高效日志查询:采集的日志数据可在云日志控制台以简单有序的方式展示,方便快速查询。

  3. 结构化分析:支持对日志进行结构化处理,提取固定格式或相似度高的内容,便于使用SQL语法进行查询分析。

  4. 可视化报表:提供多样化的可视化展示功能,如表格、折线图、柱状图、饼图等。

  5. 监控告警:支持创建统计规则,对接告警中心,实现日志的实时监控和告警。

  6. 长期存储:支持将日志转储到对象存储服务(OBS)、数据接入服务(DIS)等,实现长期保存。

LTS可广泛应用于日志采集分析、性能优化、安全审计、运营分析等多个场景,是企业进行日志管理和分析的有力工具。

1.2 实验目的

本实验旨在通过实际操作,帮助读者快速上手使用华为云日志服务(LTS)。具体目标如下:

  1. 了解LTS的基本概念,包括日志组、日志流、ICAgent等。

  2. 掌握创建日志组和日志流的方法。

  3. 学习如何在弹性云服务器(ECS)上安装ICAgent

  4. 配置日志采集规则,将ECS的系统日志接入LTS

  5. 在LTS控制台查看和分析采集到的实时日志。

通过完成这些步骤,读者将能够建立起对LTS的基本认识,并具备使用LTS进行日志管理的基本技能。这为后续深入使用LTS进行更复杂的日志分析、监控告警等操作奠定基础。

本实验采用实际操作的方式,让读者亲身体验LTS的功能和使用流程,从而加深对LTS的理解和掌握。实验中使用的是华为云平台,读者需要准备一个华为云账号,并创建一台ECS实例作为日志源。通过这种实践性的学习,读者可以更好地理解LTS在实际应用中的价值和作用。

1.3 关键概念

在使用华为云日志服务(LTS)之前,了解以下关键概念及其关系非常重要:

  1. 日志组(Log Group)

    • 日志组是LTS中日志管理的基本单位。
    • 它用于对日志进行分类管理,通常可以按照业务类型或应用系统来划分。
    • 一个日志组可以包含多个日志流。
  2. 日志流(Log Stream)

    • 日志流是日志数据的载体,用于存储同一类型的日志数据。
    • 每个日志流都从属于一个特定的日志组。
    • 日志流可以对应到具体的日志文件或日志类型,如应用程序日志、系统日志等。
  3. ICAgent

    • ICAgentLTS提供的日志采集代理程序。
    • 它需要安装在需要采集日志的服务器(如ECS)上。
    • ICAgent负责从服务器上收集日志数据,并将其上传到LTS服务。
  4. 日志主题(Log Topic)

    • 日志主题是对日志数据进行分类的一种方式。
    • 它可以用于将同一日志流中的日志按照不同的主题进行归类。
  5. 结构化配置

    • 结构化配置用于定义如何解析原始日志数据。
    • 通过结构化配置,可以将非结构化的日志转换为结构化数据,便于后续的查询和分析。
  6. 索引配置

    • 索引配置定义了如何对日志数据建立索引。
    • 合理的索引配置可以提高日志查询的效率。

其中

  • 一个LTS账户可以创建多个日志组;
  • 每个日志组可以包含多个日志流;
  • ICAgent安装在需要采集日志的服务器上,负责将日志数据采集到指定的日志流中;
  • 日志流中的数据可以通过结构化配置进行解析,并通过索引配置建立索引;
  • 日志主题则可以用于对同一日志流中的日志进行进一步分类。

2. 准备工作

2.1 创建AK/SK

进入华为云·我的凭证页面:https://console.huaweicloud.com/iam/?region=cn-north-4#/mine/accessKey。你想看到如下页面:

在这里插入图片描述
点击左上角的“新增访问密钥”,在模态框弹窗中输入此密钥的描述信息,然后点击确定:

在这里插入图片描述
创建完成后,将弹出“创建成功”弹窗:

在这里插入图片描述
你可以直接点击“立即下载”,这将会下载一个“credentials.csv”文件,你可以使用文本编辑器、Excel等软件打开查看它。
打开后你将看到“User Name”(你的用户名)、“Access Key Id”(AK,访问键ID)、“Secret Access Key”(加密访问密钥)三个字段。你需要妥善保管好他们一面泄露,这可以用于登陆或访问你的华为云的部分资源和相关软件,比如华为云的OBS Browser+ 等。

2.2 创建一个ECS服务器

接下来,我们创建一个ECS服务器用于演示收集其日志。进入华为云·ECS控制台:https://console.huaweicloud.com/ecm/?agencyId=0849469bf980f49c1f6ac0061a1e62ae&region=cn-north-4&locale=zh-cn#/ecs/manager/vmList。点击左上角的“购买弹性云服务器”:
在这里插入图片描述
为了实验成本最低,选择一台最低配置的ECS实例:

在这里插入图片描述
选择一个你熟悉的镜像,然后点击右下角的“下一步:配置网络”:

在这里插入图片描述
选择一个VPC,然后考虑是否需要包月或按照流量计费宽带,配置后进入下一步:

在这里插入图片描述
配置ECS实例名称以及登录密码等信息,然后确认配置:

在这里插入图片描述
最后确认配置并提交:

在这里插入图片描述
然后返回ECS列表即可:

在这里插入图片描述

在列表中可以看到我们刚刚所购买的ECS实例:

在这里插入图片描述

3. ECS接入LTS

3.1 创建日志组、日志流

登录华为云·云日志服务LTS控制台页面:https://console.huaweicloud.com/lts/?agencyId=0849469bf980f49c1f6ac0061a1e62ae&region=cn-north-4&locale=zh-cn#/cts/manager/groups。在“日志管理”子标签页中向下滚动:

在这里插入图片描述
直到你看到“日志组列表”:

在这里插入图片描述

点击“创建日志组”按钮,输入日志组的相关信息后,点击确认:

在这里插入图片描述

创建完成后,可以在日志组列表中看到刚刚新建的日志组:

在这里插入图片描述
旧版的日志组列表中需要点击去对应的日志组才能为该日志组新建日志流。不过如今的版本可以直接在“日志组列表”中对应的日志组下点击“创建日志流”。果断点击“创建日志流”:

在这里插入图片描述

在此右侧面板中,输入相关信息无误后点击确定,可以看到该日志组的展开信息下多了一条刚刚新建的日志流信息:

在这里插入图片描述
完成这一步后,就可以取安装ICAgent了。

3.2 日志采集工具ICAgent安装

在前文我们已经介绍了如何获取AK/SK,(参见2.1 创建AK/SK)。现在我们需要将AK和SK替换到下面的模板中的{input_your_ak}{input_your_sk}部分,以得到安装命令:

set +o history;curl https://icagent-cn-north-4.obs.cn-north-4.myhuaweicloud.com/ICAgent_linux/apm_agent_install.sh > apm_agent_install.sh && REGION=cn-north-4 bash apm_agent_install.sh -ak {input_your_ak} -sk {input_your_sk} -region cn-north-4 -projectid 0c34261a0800f2512f53c006f337ef47 -accessip 100.125.12.150 -obsdomain obs.cn-north-4.myhuaweicloud.com -accessdomain lts-access.cn-north-4.myhuaweicloud.com    ;set -o history;

然后,回到ECS实例页面,选择刚刚创建好用于演示日志采集的服务器,点击“远程登录”:

在这里插入图片描述

滚动到最下侧,点击图示的“立即登录”:

在这里插入图片描述

在新页面的模拟终端中,输入你创建ECS时候设置的root用户密码完成登录:

在这里插入图片描述
将准备好的命令粘贴进去,并运行命令,等待安装完成:
在这里插入图片描述

可以看到这里的信息提示安装成功了。

3.3 接入日志

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
为了演示,这里笔者配置一些华为云Linux系统运行一阵子必有的日志路径作为采集对象:

在这里插入图片描述
根据你的业务需求取配置“全文索引”、“日志分析”等信息:

在这里插入图片描述

完成后提交或者直接跳过并提交,进行ECS日志接入:

在这里插入图片描述
现在我们可以查看日志流,直接进入被接入的日志流详情,可以看到,创建之初还没有日志信息:

在这里插入图片描述
等待一会,你可可以登录ECS人为搞一些事情,以更快得到更多日志。

在这里插入图片描述

在“实时日志”下方,可以看到不断增加的被LTS(其实是ICAgent)监测到的日志内容:

在这里插入图片描述
可见,我们的ECS日志成功接入了。

在实际项目中,需要接入的往往是各种应用的运行日志,比如Nginx的access.log、error.log,JBoss的server.log等等。

4. 总结

至此,我们已经详细介绍了华为云日志服务(LTS)的基本概念和使用方法。我们首先了解了LTS的功能和特点,然后通过实际操作演示了如何创建日志组和日志流、在ECS上安装ICAgent、配置日志采集规则,最后成功将ECS的系统日志接入LTS并在控制台查看实时日志。这一系列步骤涵盖了LTS使用的基本流程,为读者提供了一个完整的LTS入门指南。

通过本文的学习和实践,期望帮助读者掌握使用LTS进行基本日志管理的技能。这为后续深入使用LTS进行更复杂的日志分析、监控告警等操作奠定了基础。在实际应用中,LTS可以帮助用户更好地监控系统状态、定位故障、分析业务数据,从而提高运维效率和业务洞察能力。希望本文能够帮助读者快速上手LTS,并在实际工作中充分发挥LTS的价值。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1942017.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

如何给7Z分卷文件设置密码?简单几步给文件加上安全锁

在压缩7Z文件的时候,如果文件比较大,很多小伙伴都会把文件压缩成7Z分卷文件,那想要保护7Z分卷文件,要如何设置密码呢?不清楚的小伙伴,一起来看看吧! 我们可以使用7-Zip解压缩文件,在…

安全的备忘录工具有哪些 安全好用的备忘录

在这个数字化的时代,我们的生活中充斥着各种各样的信息,从工作计划到个人琐事,从账号密码到重要日期,这些信息都需要我们牢记。然而,人的记忆毕竟有限,于是,备忘录工具成为了我们日常生活中不可…

easyExcel和poi的版本对应

easypoi3.0.5对应的poi版本_easypoi和poi版本对应-CSDN博客 https://github.com/alibaba/easyexcel/blob/v3.2.0/pom.xml 解决 java.lang.NoClassDefFoundError: org/apache/poi/POIXMLTypeLoader 报错-CSDN博客 参考这个文档解决的- 引入最佳版本是3.15版本 java.lang.NoClas…

将Excel或CSV文件导入MySQL

数据库信息 版本:mysql-5.7.22 字符集如下 一、将 Excel 文件导入 MySQL,此时 MySQL 中不存在该表。 在数据库中,右键-导入向导

windows下mysql开启慢sql监控

上代码 #开启慢sql监控 SET GLOBAL slow_query_log ON; #设置慢sql日志存储路径 示例 SET GLOBAL slow_query_log_file D:\\javaTools\\mysql-8.0.32-winx64\\mysql-8.0.32-winx64\\slowSql\\slowSql.log; #超时时间 SET GLOBAL long_query_time 10; #查看是否开启慢查询 …

RabbitMQ的学习和模拟实现|GTest测试框架的介绍和简单使用

GTest 项目仓库:https://github.com/ffengc/HareMQ GTest GTest是什么我们需要学习的GTest功能宏断言事件机制 全局测试套件独立测试套件 GTest是什么 GTest是一个跨平台的 C单元测试框架,由google公司发布。gtest是为了在不同平台上为编写C单元测…

数学建模学习(112):FAHP模糊层次分析法

文章目录 一、FAHP方法由来二、模糊层次分析法原理2.1 AHP缺陷2.2 模糊集理论2.3 模糊层次分析法(FAHP)三、模糊层次分析法步骤3.1 问题定义与层次结构建立3.2 构造模糊判断矩阵3.2.1 计算模糊判断矩阵的列和向量3.2.2 计算模糊综合向量3.2.3 计算模糊权重向量3.3 解模糊数3.…

【Python】NumPy简要教程

文章目录 一、简介二、 ndarray 对象三、矩阵拼接四、数值运算4.1 数值选取4.2 单个数组的运算4.21 NumPy定义的常量4.22 单数组运算 4.3 数组之间的运算4.31 常见运算🟢4.32 广播机制:Broadcasting 五、数值类型、类型转换六、文件I/O 一、简介 NumPy …

56 网络层

本节重点 理解网络层的作用,深入理解IP协议的基本原理 对整个TCP/IP协议有系统的理解 对TCP/IP协议体系下的其他重要协议和技术有一定的了解 目录 前置认识ip协议基本概念协议头格式网段划分特殊的ip地址ip地址的数量限制私有ip和公有ip路由路由表生成算法 在复杂…

2024全网最全面及最新且最为详细的网络安全技巧 七之 XSS漏洞典例分析EXP以及 如何防御和修复(2)———— 作者:LJS

目录 8.5 Exploiting XSS with 20 characters limitation(蓝色为翻译)​编辑 Unicode compatibility 20 length limitation problem Taking advantage Next steps 8.6 Intigriti XSS 系列挑战 Writeups 8.6.1 xss challenge 1220 题目概述 思路分析 POC a.有交互 b.无交互 …

Ubuntu22.04安装与卸载nginx

换源 如果是国内的就不用换 中科大的源,由于我这里是Ubuntu,所以我就直接选Ubuntu22.04就行 点击下载,或者你直接复制这个sources.list的内容到linux中的/etc/apt/sources.list也可以,把原来的sources.list备份一下,…

python+pyqt开发海康相机数据采集系统

pythonpyqt开发海康相机数据采集系统 pythonpyqt开发海康相机数据采集系统 1 开发软件功能: 支持搜索相机:Gige相机设备和USB相机设备支持两种触发模式:软件触发和编码器触发支持数据采集过程中图像实时保存支持参数调节和实时预览&#xff…

安装好anaconda,打开jupyter notebook,新建 报500错

解决办法: 打开anaconda prompt 输入 jupyter --version 重新进入jupyter notebook: 可以成功进入进行代码编辑

批量打断相交线——ArcGISpro 解决方法

在数据处理,特别是地理空间数据处理或是任何涉及图形和线条分析的场景中,有时候需要把相交的线全部从交点打断一个常见的需求。这个过程对于后续的分析、编辑、或是可视化展现都至关重要,因为它可以确保每条线都是独立的,避免了因…

VPN概述

什么是VPN? VPN --- 虚拟专用网 --- 是指依靠ISP或者其他NSP或者企业自身,构建的专用的安全的数据通 信网络,只不过,这个专线网络是逻辑上的,而不是物理上的,所以叫做虚拟专用网 VPN诞生的原因是什么? 1&…

Qt实战:专栏内容介绍及目录

1、专栏介绍 Qt相比Visual Studio (VS) 的优势主要体现在跨平台能力、‌丰富的功能、‌高性能、‌现代UI设计、‌社区支持和企业支持等方面。‌ 跨平台能力:‌Qt 允许应用程序在多个操作系统上编译和运行,‌无需为每个平台编写特定的代码,‌…

小程序内嵌uniapp页面跳转回小程序指定页面方式

使用微信小程序提供的Api:wx.miniProgram.navigateTo 在小程序中嵌套uniapp的H5页面,并使用wx.miniProgram.navigateTo进行页面跳转,需要确保满足以下条件: 你的小程序必须是通过uniapp构建的,并且支持小程序嵌套。 你…

SEO域名外链生成工具PHP源码

两款不同版本的SEO超级外链工具PHP源码,网址外链-seo外链推广工具源码,SEO网站推广外链工具源码SEO域名外链生成工具PHP源码 _ 博客趣两款不同版本的SEO超级外链工具PHP源码,网址外链-seo外链推广工具源码,SEO网站推广外链工具源码…

解决一下Plugin ‘maven-clean-plugin:3.1.0‘ not found的问题

1. 问题描述 当导入别人的Maven项目时,可能会出现Plugin maven-clean-plugin:3.1.0 not found的错误信息。 2. 解决方案 2.1 方案一 检查自己的Maven仓库地址是否正确,一般引入其他人的项目时,Maven仓库的目录以及配置都会是别人的&#xff…

.NET 情报 | 分析某云系统添加管理员漏洞

01阅读须知 此文所提供的信息只为网络安全人员对自己所负责的网站、服务器等(包括但不限于)进行检测或维护参考,未经授权请勿利用文章中的技术资料对任何计算机系统进行入侵操作。利用此文所提供的信息而造成的直接或间接后果和损失&#xf…