SkyWalking安装部署

news2024/11/25 2:37:42

一、概念

1、什么是 APM 系统?

APM(Application Performance Management)即应用性能管理系统,是对企业系统即时监控以实现对应用程序性能管理和故障管理的系统化的解决方案。应用性能管理,主要指对企业的关键业务应用进行监测、优化,提高企业应用的可靠性和质量,保证用户得到良好的服务,降低总拥有成本。

APM 系统是可以帮助理解系统行为、用于分析性能问题的工具,以便发生故障的时候,能够快速定位和解决问题。

目前主流的产品都是借助 Google 的 Dapper 论文实现的,以下是 Dapper 的翻译版本:《Dapper,大规模分布式系统的跟踪系统》

主流的 APM 系统:
1. 日志:ELK Stack
ELK Stack 是一个流行的工具套件,功能涵盖监控、日志和数据可视化。它由 ElasticSearch, Logstash, and Kibana 三部分组成。其中,Elasticsearch 负责搜索和分析,Logstash 是日志聚积器,而 Kibana 则提供华丽的可视化仪表盘。

2. 指标:Prometheus
Prometheus 是一套开源的系统监控报警框架。它受启发于 Google 的 Brogmon 监控系统,由工作在 SoundCloud 的前 google 员工在 2012 年创建,作为社区开源项目进行开发,并于 2015 年正式发布。
2016 年,Prometheus 正式加入 Cloud Native Computing Foundation(CNCF)基金会的项目,成为受欢迎度仅次于 Kubernetes 的项目。2017 年底发布了基于全新存储层的 2.0 版本,能更好地与容器平台、云平台配合。
Prometheus 作为新一代的云原生监控系统,目前已经有超过 650+位贡献者参与到 Prometheus 的研发工作上,并且超过 120+项的第三方集成。

3. 链路追踪:Skywalking
一个开源的可观测平台,用于从服务和云原生基础设施收集,分析、聚合及可视化数据。SkyWalking 提供了一种简便的方式来清晰地观测分布式系统,甚至横跨多个云平台。SkyWalking 更是一个现代化的应用程序性能监控(Application Performance Monitoring)系统, 尤其专为云原生、基于容器的分布式系统设计。

2、为什么使用 Skywalking?

2.1、核心功能

  • 服务、服务实例、端点(URI)指标分析
  • 根本原因分析。在运行时上分析由进程内代理和ebpf分析器支持的代码。
  • 业务拓扑图分析
  • 服务实例和端点(URI)依赖关系分析
  • 服务和端点检测速度慢
  • 性能优化
  • 分布式跟踪和上下文传播
  • 数据库访问指标。检测慢速数据库访问语句(包括SQL语句)
  • 消息队列性能和消耗延迟监视
  • 浏览器性能监控
  • 基础设施(虚拟机、网络、磁盘等)监控
  • 跨指标、跟踪和日志的协作
  • 告警

2.2 特点

  • java生态,功能丰富
  • 社区活跃,迭代迅速
  • 链路追踪、拓扑分析的能力强:
  • 插件丰富,探针无侵入。
  • 采用先进的流式拓扑分析设计
  • 多语言支持
  • 微内核 + 插件的架构,存储、集群管理、使用插件集合都可以进行自由选择。
  • 为多种开源项目提供了插件,为 Tomcat、 HttpClient、Spring、RabbitMQ、MySQL 等常见基础设施和组件提供了自动探针。
  • 优秀的可视化效果。

3、关键概念

SkyWalking 为 服务(service), 服务实例(service instance), 以及 端点(endpoint) 提供了可观测能力。服务(Service), 实例(Instance) 以及 端点(Endpoint) 等概念在如今随处可见

  1. 服务
    表示对请求提供相同行为的一组工作负载。 在使用打点代理或 SDK 的时候,你可以定义服务的名字,SkyWalking 还可以使用在 Istio 等平台中定义的名称。
  2. 服务实例
    上述的一组工作负载中的每一个工作负载称为一个实例。就像 Kubernetes 中的 pods 一样,服务实例未必就是操作系统上的一个进程。但当你在使用打点代理的时候,一个服务实例实际就是操作系统上的一个真实进程。
  3. 端点
    对于特定服务所接收的请求路径, 如 HTTP 的 URI 路径和 gRPC 服务的类名 + 方法签名。

4、架构

组件:

  1. 探针(Agent)
    Agent 运行在各个服务实例中,负责采集服务实例的 Trace 及 Metrics 信息数据,然后通过 HTTP/gRPC 方式上报给 SkyWalking 服务端

  2. 服务端(OAP)
    OAP SkyWalking 服务端
    分析引擎(Analysis Core) 接收上报的数据,进行流式分析,最终将分析结果写入到存储中
    查询引擎(Query Core) 响应 UI 界面的查询请求,将数据查询出来,返回给界面展示

  3. 存储(Storage)
    通过开放的插件化的接口存放 SkyWalking 数据. 你可以选择一个既有的存储系统, 如 ElasticSearch, H2 或 MySQL 集群(Sharding-Sphere 管理),也可以选择自己实现一个存储系统. 当然, 我们非常欢迎你贡献新的存储系统实现。

  4. 用户界面(UI)
    一个基于接口高度定制化的Web系统,用户可以可视化查看和管理 SkyWalking 数据。

5、设计目标

  1. 保持可观测性
    不管目标系统如何部署, SkyWalking 总要提供一种方案或集成方式来保持对目标系统的观测, 基于此, SkyWalking 提供了数种运行时探针。

  2. 拓扑结构
    拓扑结构, 性能指标和追踪一体化. 理解分布式系统的第一步是通过观察其拓扑结构图. 拓扑图可以将复杂的系统在一张简单的图里面进行可视化展现. 基于拓扑图,运维支撑系统相关人员需要更多关于服务/实例/端点/调用的性能指标. 链路追踪(trace)作为详细的日志, 对于此种性能指标来说很有意义, 如你想知道什么时候端点延时变得很长, 想了解最慢的链路并找出原因. 因此你可以看到, 这些需求都是从大局到细节的, 都缺一不可. SkyWalking 集成并提供了一系列特性来使得这些需求成为可能, 并且使之易于理解.

  3. 轻量级
    有两个方面需要保持轻量级. (1) 探针, 我们通常依赖于网络传输框架, 如 gRPC. 在这种情况下, 探针就应该尽可能小, 防止依赖库冲突以及虚拟机的负载压力(例如 JVM 永久代内存占用压力). (2) 作为一个观测平台, 在你的整个项目环境中只是次要系统, 因此我们使用自己的轻量级框架来构建后端核心服务. 所以你不需要部署并维护大数据相关的平台, SkyWalking 在技术栈方面应该足够简单。

  4. 可插拔
    SkyWalking 核心团队提供了许多默认实现, 但这肯定是不够的, 也不可能适用于每一种场景, 因此我们提供了大量的特性来支持可插拔功能。

  5. 可移植

在这里插入图片描述

二、快速入门

1、部署 OAP 服务

1.1 下载安装包

找到SkyWalking 下载页面
1)下载 Foundations 中的 SkyWalking APM,选择 Distribution 版本下载,Source 为源码版本
2))在 Agents 中下载你需要的 Agent,这里我们下载 Java Agent 同样也选择 Distribution 版本
SkyWalking APM下载地址
Java Agent下载地址
Elasticsearch下载地址

1.2 修改配置文件并启动服务

1)解压 apache-skywalking-apm-9.3.0.tar.gz 并修改 config/applications.yml 文件
找到 storage > selector 将其修改 ${SW_STORAGE:elasticsearch}
根据自己需求决定是否修改命名空间、es连接地址、用户名密码等

2)进入 bin 目录,选择启动脚本运行
startup.sh:会先后启动 OAP 服务与 UI 服务
oapService.sh:单独启动 OAP 服务,第一次启动需初始化数据,因此可能会比较慢
webappService.sh:单独启动 UI 服务
任意服务检查是否启动成功,看 /logs 下面的日志文件即可

1.3 Skywalking UI 可视化

配置文件:<skywalking_home>/webapp/application.yml 文件
可以修改启动端口与 oap 服务地址
启动命令:<skywalking_home>/bin/webappService.sh 文件
检查是否启动成功:<skywalking_home>/logs/ 查看日志是否有报错信息

1.4 基于 Agent 监控 SpringBoot 应用

三种方式:
1)通过修改 agent/config/agent.config 文件来配置探针
2)通过提前编写命令行启动脚本,可以为每一个服务指定专属的 agent 探针配置
创建startup.sh脚本:

#!/bin/bash
# SkyWalking Agent 启动脚本
export SW_AGENT_NAME=skywalking-demo # 探针名称,一般指定为监控应用的名称
export SW_AGENT_COLLECTOR_BACKEND_SERVICES=127.0.0.1:11800 #   Collector 地址,指向到 OAP 服务
export SW_AGENT_SPAN_LIMIT=1000 # 配置链路的最大 Span 数量,默认为 300
export JAVA_AGENT=-javaagent:<探针 jar 的位置>
java $JAVA_AGENT -jar skywalking-demo-1.0.0-SNAPSHOT.jar # 启动程序

3)IDE 开发工具
通过 idea 启动配置中添加如下 jvm 参数

-javaagent:/Users/wzc/devtools/skyWalking/skywalking-agent/skywalking-agent.jar # Agent本地jar包路径
-DSW_AGENT_NAME=skywalking-demo # 自定义Agent探针名称
-DSW_AGENT_COLLECTOR_BACKEND_SERVICES=8.140.50.3:11800 # OAP服务端地址

1.5 搭建并使用案例

OAP服务端

# 解压skywalking-apm
tar -zxvf apache-skywalking-apm-9.3.0.tar.gz

# 启动
bin/startup.sh
# 查看日志
tail -f -n200 logs/oap.log 
tail -f -n200 logs/skywalking-oap-server.log 

# 修改默认访问页面端口为18080
vi  webapp/application.yml
serverPort: ${SW_SERVER_PORT:-18080}

# 重启webappService
bin/webappService.sh 
tail -f -n200 logs/skywalking-webapp.log 

# 访问可视化UI页面
http://ip:18686

Agent端:基于idea配置探针,在vm中添加下面配置参数

-javaagent:/Users/wzc/devtools/skyWalking/skywalking-agent/skywalking-agent.jar # Agent本地jar包路径
-DSW_AGENT_NAME=skywalking-demo # 自定义Agent探针名称
-DSW_AGENT_COLLECTOR_BACKEND_SERVICES=192.168.100.101:11800 # OAP服务端地址

二、实战进阶

1、安装ElasticSearch

ElasticSearch安装

#解压
tar -zxvf elasticsearch-7.17.0-linux-aarch64.tar.gz /usr/local/elasticsearch-7.17.0

# 创建所属组和所属用户
[root@k8s-node1 local]# groupadd elasticsearch
[root@k8s-node1 local]# useradd elasticsearch -g elasticsearch
[root@k8s-node1 local]# passwd elasticsearch
[root@k8s-node1 local]# chown -R elasticsearch:elasticsearch elasticsearch-7.17.0/
[root@k8s-node1 local]# su elasticsearch

# 虚拟机改小一点内存大小。生产环境下官方建议:小于机器内存的一半
vi config/jvm.options
-Xms1g
-Xmx1g

# 启动
bin/elasticsearch -d

# 测试
curl http://localhost:9200

2、SkyWalking持久化存储

方式一:Elasticsearch
启动一个 ES 服务,sw9 以后的版本配置 es 无需区分 elasticsearch 和 elasticsearch7,统一支持 6,7,8 三个版本

# 修改数据源
vi config/application.yml
storage:
  selector: ${SW_STORAGE:elasticsearch}

方式二:MySQL

修改 application.yml 中 storage 部分的内容
storage:
  selector: ${SW_STORAGE:mysql}

mysql:
  properties:
    jdbcUrl: ${SW_JDBC_URL: "jdbc:mysql://localhost:3306/skywalking"}
    dataSource.user: ${SW_DATA_SOURCE_USER: root}
    dataSource.password ${SW_DATA_SOURCE_PASSWORD: admin}

# 默认是不直接支持 mysql 的,需要将 mysql 数据库驱动包拷贝到  oap-libs 目录下才可以

3、微服务项目链路追踪

Spring Cloud:

为每一个微服务启动时设置探针参数即可

PS:SkyWalking 默认针对 Spring Cloud 应用不追踪网关服务,若要追踪网关,需要将 agent/optional-plugins 下的 gateway 插件和 webflux 插件拷贝到 agent/plugins 目录下

4、日志采集

打印日志时引入链路追踪 id,将日志上报到 OAP 服务端进行存储

1、引入依赖

<dependency>
    <groupId>org.apache.skywalking</groupId>
    <artifactId>apm-toolkit-logback-1.x</artifactId>
    <version>8.14.0</version>
</dependency>

2、Logback 配置

    <configuration scan="true" scanPeriod=" 5 seconds">
        <appender name="STDOUT" class="ch.qos.logback.core.ConsoleAppender">
            <encoder class="ch.qos.logback.core.encoder.LayoutWrappingEncoder">
                <layout class="org.apache.skywalking.apm.toolkit.log.logback.v1.x.mdc.TraceIdMDCPatternLogbackLayout">
                    <Pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} [%X{tid}] [%thread] %-5level %logger{36} -%msg%n</Pattern>
                </layout>
            </encoder>
        </appender>
    
        <appender name="ASYNC" class="ch.qos.logback.classic.AsyncAppender">
            <discardingThreshold>0</discardingThreshold>
            <queueSize>1024</queueSize>
            <neverBlock>true</neverBlock>
            <appender-ref ref="STDOUT"/>
        </appender>
    
        <root level="INFO">
            <appender-ref ref="ASYNC"/>
        </root>
    </configuration>

3、gRPC 导出日志

通过 gRPC reporter 可以将日志数据导出到 OAP 服务,可以直接在 SkyWalking UI 界面看到服务的日志信息

# 只需要在 Logback 配置文件中加入如下配置即可
<appender name="grpc-log" class="org.apache.skywalking.apm.toolkit.log.logback.v1.x.log.GRPCLogClientAppender">
        <encoder class="ch.qos.logback.core.encoder.LayoutWrappingEncoder">
            <layout class="org.apache.skywalking.apm.toolkit.log.logback.v1.x.mdc.TraceIdMDCPatternLogbackLayout">
                <Pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} [%X{tid}] [%thread] %-5level %logger{36} -%msg%n</Pattern>
            </layout>
        </encoder>
    </appender>

5、告警通知

通过 alarm-setting.yml 文件配置规则

1、告警规则

metrics-name:指标名称,也是 OAL 脚本中的指标名。可以配置告警的指标有:服务、实例、端点、服务关系、实例关系、端点关系。只支持 long, double, int 类型。
op:操作符
threshold:阈值
period:告警规则多久被检查一次,是一个时间窗口
count:在一个时间窗口内,满足 op 超过阈值的次数达到 count 值,就会触发告警
slience-period:在时间 N 中触发报警后,在 N + silence-period 这段时间内不告警
message:告警时通知的消息

2、Webhook

配置 webhooks 在触发告警时,会自动调用该接口

接口

@PostMapping("/notify")
public void alertingNotify(@RequestBody List<AlarmMessage> messages) {
    log.info("[告警通知] 告警消息:{}", JSON.toJSONString(messages));
}


模型对象
@ToString
@Getter
@Setter
public class AlarmMessage {
    private int scopeId;
    private String name;
    private String id0;
    private String id1;
    private String alarmMessage;
    private long startTime;
    private String ruleName;
}

3、告警通知到钉钉

# 增加如下规则以及配置,可以实现将告警消息通知到钉钉机器人
dingtalkHooks:
  textTemplate: |-
    {
      "msgtype": "text",
      "text": {
        "content": "Apache SkyWalking Alarm: \n %s."
      }
    }    
  webhooks:
    - url: https://oapi.dingtalk.com/robot/send?access_token=dummy_token
      secret: dummysecret

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1009665.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

网络安全宣传周|这些网络安全知识赶紧get起来~

2023年9月11日至17日是第十个国家网络安全宣传周。今年的国家网络安全宣传周主题是“网络安全为人民&#xff0c;网络安全靠人民”。 网络安全是国家安全的重要组成部分&#xff0c;没有网络安全就没有国家安全&#xff0c;就没有经济社会稳定运行&#xff0c;广大人民群众利益…

工欲善其事,必先利其器,这5款利器推荐你

​ 工欲善其事&#xff0c;必先利其器。要想提升工作效率&#xff0c;除了提升自己的能力以外&#xff0c;好的工具也是必不可少的一环&#xff0c;今天给大家推荐5款办公必备的神器。 1.鼠标手势增强——MouseInc ​ MouseInc 是一款由知名的浏览器优化大神开发的系统全局鼠…

炒期权的资金门槛是多少 ?

期权是一种合约&#xff0c;买方向卖方支付一定费用后有权利在特定的时间&#xff0c;以特定的价格买入或卖出一定数量的特定资产&#xff0c;卖方需履行相应义务&#xff0c;期权开户支持线上和零门槛开头&#xff0c;下文介绍炒期权的资金门槛是多少 ?本文来自&#xff1a;期…

uniapp打包安卓后在安卓屏上实现开机自启动

实现开机自启动(使用插件) 打开插件地址安卓开机自启动 Fvv-AutoStart - DCloud 插件市场 使用方法 选择你要开启自启动的项目 在项目的manifest.json中app-plus下写入以下代码 注意需要替换 android_package_name 为自己的,不然无法进行安卓apk打包 "nativePlugins&q…

uniapp抽取组件绑定事件中箭头函数含花括号无法解析

版本: "dcloudio/uni-ui": "^1.4.27", "vue": "> 2.6.14 < 2.7"... 箭头函数后含有花括号的时候, getData就拿不到val参数 , 解决办法就是去除花括号 // 错误代码: <SearchComp change"(val) > { getData({ val …

记LGSVL Map Annotation(3)利用map annotation生成一个十字路口的opendrive格式地图

参考&#xff1a;b站 1. 创建一个平面 为什么创建平面 2.选择HD map annotaion

ZTMap是如何在相关政策引导下让建筑更加智慧化的?

近几年随着智慧楼宇概念的深入&#xff0c;尤其是在“十四五规划”“新基建”“数字经济”等相关战略和政策的引导下&#xff0c;智慧楼宇也迎来了快速发展期&#xff0c;对推动智慧城市系统的建设越来越重要。那么究竟什么是智慧楼宇呢&#xff1f;智慧楼宇其实就是整合楼宇内…

RabbitMQ常见问题

一、RabbitMQ如何保证消息不丢失&#xff1f; 这是面试时最喜欢问的问题&#xff0c;其实这是个所有MQ的一个共性的问题&#xff0c;大致的解 决思路也是差不多的&#xff0c;但是针对不同的MQ产品会有不同的解决方案。而RabbitMQ 设计之处就是针对企业内部系统之间进行调用设…

实战演练 | Navicat 安全可靠的数据传输功能

数据库数据传输是指将数据库中的数据从一个数据库系统传送到另一个数据库系统的过程。数据传输在数据迁移、数据同步、备份与恢复、数据库整合和数据分发等场景中使用非常广泛。 Navicat 安全可靠的数据传输功能可以让用户方便快捷地实现从一个数据库或模式传输对象到另一个数…

vue 翻页选择导出

框架Vue2.15.14&#xff0c;后台是Aps.net core Api <el-table ref"multipleTable" :data"tableData" tooltip-effect"light" style"width: 100%;text-align: center;"height"400" show-harder selection-change"h…

Android Studio 报错问题记录

工具地址 由于之前手贱不知道点了一个什么东西更新&#xff0c;导致一个code1报错&#xff0c;后来又一通瞎比操作直接吧Android Studio弄得打不开模拟器了&#xff0c;所以我后面就全部卸载重新安装了一下&#xff0c;并把之前遇到的问题做下记录&#xff0c;可能并不适用于每…

朗思科技数字员工通过统信桌面操作系统兼容性互认认证

近日&#xff0c;朗思科技数字员工与统信桌面操作系统V20进行了兼容互认&#xff0c;针对上述产品的功能、兼容性方面&#xff0c;通过共同严格测试表明——朗思科技数字员工在统信桌面操作系统 V20上整体运行稳定&#xff0c;满足功能及兼容性测试要求。 北京朗思智能科技有限…

PostgreSQL 数据定义语言 DDL

文章目录 表创建主键约束非空唯一约束检查约束外键约束默认值约束 触发器表空间构建表空间 视图索引索引的基本概念索引的分类创建索引 物化视图 表创建 PostgreSQL表的构建语句与所有数据库都一样&#xff0c;结构如下&#xff0c;其核心在于构建表时&#xff0c;要指定上一些…

Composition API的优势

1.Options API存在的问题 传统的options api 中&#xff0c;新增或修改一个需求&#xff0c;就需要分别在data,methods,computed里面修改 2.Composition API的优势 我们可以在组织我们的代码&#xff0c;函数。让相关功能的代码更加有序的组织在一起。

openpnp - 设备电源抗干扰部件的选择

文章目录 openpnp - 设备电源抗干扰部件的选择概述END openpnp - 设备电源抗干扰部件的选择 概述 设备电源部分的干扰主要来自伺服和真空泵. 伺服是设备开机期间, 一直供电, 采用滤波器比较好. 型号为 CW4L2-10A-S(004)或者CW4-10A-S(004) CW4L2-10A-S(004)是二级滤波. CW4-1…

Spring的 webFlux 和 webMVC

看到一个测评文章&#xff0c;并发在300的时候webMVC 和 webFlux的处理能力不相上下&#xff0c; 当并发达到3000的时候, webFlux明显优于webMVC, 有图有真相&#xff0c; 我信了. webMVC 是 one-request-one thread 堵塞模式, flux是非阻塞模式&#xff0c; 是spring家族系列…

大神教你期权平仓操作技巧,期权交易规则一网打尽

期权交易主要是看涨开仓和看跌开仓&#xff0c;平仓就是盈亏或亏损平仓。期权的波动较快&#xff0c;所以开仓平仓也一定比较频繁。具体交易和期货的开仓和平仓都是一样的。期货是买涨、卖跌&#xff0c;期权是看涨、看跌。下文介绍期权如何平仓操作&#xff1f;本文来自&#…

系统架构设计师-数据库系统(1)

目录 一、数据库模式 1、集中式数据库 2、分布式数据库 二、数据库设计过程 1、E-R模型 2、概念结构设计 3、逻辑结构设计 三、关系代数 1、并交差 2、投影和选择 3、笛卡尔积 4、自然连接 一、数据库模式 1、集中式数据库 三级模式&#xff1a; &#xff08;1&#xff09;外…

一文讲解ARMv8内存属性与类型(Memory types and attributes)简介

ARMv8中将内存分为两种类型&#xff1a;Normal memory和Device memory&#xff0c;Normal memory适用于系统中的大部分内存&#xff0c;而Device memory则适用于外设所使用的内存。 1. Normal Memory Normal memory类型属性适用于系统中的大多数内存。它表示架构允许硬件对这…

《动手学深度学习 Pytorch版》 4.10 实战Kaggle比赛:预测比赛

4.10.1 下载和缓存数据集 import hashlib import os import tarfile import zipfile import requests#save DATA_HUB dict() DATA_URL http://d2l-data.s3-accelerate.amazonaws.com/def download(name, cache_diros.path.join(.., data)): #save"""下载一个…