高并发带来的问题

1.编写java代码

2.修改配置文件中tomcat的并发数

3.接下来使用压测工具,对请求进行压力测试

压测工具

服务雪崩效应

常见容错方案

常见的容错组件

Sentinel入门

什么是Sentinel

Sentinel 具有以下特征:

Sentinel 分为两个部分:

sentinel简单模式之流控QPS

1 在订单模块(shop-order)的pom.xml中加入下面依赖

安装Sentinel控制台

1 下载jar包,解压到文件夹 Releases · alibaba/Sentinel · GitHub编辑

2 启动控制台

3 修改shop-order ,在里面加入有关控制台的配置

Sentinel的概念和功能

基本概念

重要功能

sentinel流控简单模式之并发线程数

sentinel流控之关联模式&链路模式

关联模式

链路模式

sentinel降级之平均响应时间&异常比例模式

降级规则

刷新被限流编辑异常比例

自定义异常返回

高并发带来的问题

在微服务架构中，我们将业务拆分成一个个的服务，服务与服务之间可以相互调用，但是由于网络原因或者自身的原因，服务并不能保证服务的100%可用，如果单个服务出现问题，调用这个服务就会出现网络延迟，此时若有大量的网络涌入，会形成任务堆积，最终导致服务瘫痪。接下来，我们来模拟一个高并发的场景

1.编写java代码

@Slf4j
@RestController
@RequestMapping("/order")
public class OrderController {

    @Autowired
    private IFeignProductService feignProductService;

    @RequestMapping("/findByParameter")
    public String findByParameter(String name,Double price){
        log.info("服务消费者日志：name={},price={}",name,price);
        return feignProductService.findByParameter(name,price);
    }
}

2.修改配置文件中tomcat的并发数

1秒钟20个请求，最大连接数10，最大等待数10，最大线程数2，相当于一个线程1s能处理5个请求（2个处理10个请求）

server:
  port: 8091
  tomcat:
    max-threads: 2     #最大线程数
  max-connections: 10  #最大连接数
  accept-count: 10     #最大线程等待数

3.接下来使用压测工具,对请求进行压力测试

压测工具

下载地址Apache JMeter - Apache JMeter™

第一步：修改配置，并启动软件

进入bin目录,修改jmeter.properties文件中的语言支持为language=zh_CN，然后点击jmeter.bat，启动软件。

为了下次启动不进入文件找启动文件，我们直接将启动文件发送到桌面快捷方式

启动压测工具

第二步：添加线程组

第三步：配置线程并发数

第四步：添加监听

第五步：添加Http取样

第六步：配置取样，并启动测试

结论: 此时会发现, 由于order方法囤积了大量请求, 导致ｍessage方法的访问出现了问题，这就是服务雪崩的雏形。

服务雪崩效应

在分布式系统中,由于网络原因或自身的原因,服务一般无法保证 100% 可用。如果一个服务出现了问题，调用这个服务就会出现线程阻塞的情况，此时若有大量的请求涌入，就会出现多条线程阻塞等待，进而导致服务瘫痪。由于服务与服务之间的依赖性，故障会传播，会对整个微服务系统造成灾难性的严重后果，这就是服务故障的 “雪崩效应” 。

雪崩发生的原因多种多样，有不合理的容量设计，或者是高并发下某一个方法响应变慢，亦或是某台机器的资源耗尽。我们无法完全杜绝雪崩源头的发生，只有做好足够的容错，保证在一个服务发生问题，不会影响到其它服务的正常运行。也就是＂雪落而不雪崩＂。

常见容错方案

要防止雪崩的扩散，我们就要做好服务的容错，容错说白了就是保护自己不被猪队友拖垮的一些措施, 下面介绍常见的服务容错思路和组件。 常见的容错思路 常见的容错思路有隔离、超时、限流、熔断、降级这几种，下面分别介绍一下。

隔离

它是指将系统按照一定的原则划分为若干个服务模块，各个模块之间相对独立，无强依赖。当有故障发生时，能将问题和影响隔离在某个模块内部，而不扩散风险，不波及其它模块，不影响整体的系统服务。常见的隔离方式有：线程池隔离和信号量隔离．

超时

在上游服务调用下游服务的时候，设置一个最大响应时间，如果超过这个时间，下游未作出反应，就断开请求，释放掉线程。

限流

限流就是限制系统的输入和输出流量已达到保护系统的目的。为了保证系统的稳固运行,一旦达到的需要限制的阈值,就需要限制流量并采取少量措施以完成限制流量的目的。

熔断

在互联网系统中，当下游服务因访问压力过大而响应变慢或失败，上游服务为了保护系统整体的可用性，可以暂时切断对下游服务的调用。这种牺牲局部，保全整体的措施就叫做熔断。服务熔断一般有三种状态：

熔断关闭状态（Closed）服务没有故障时，熔断器所处的状态，对调用方的调用不做任何限制
熔断开启状态（Open）后续对该服务接口的调用不再经过网络，直接执行本地的fallback方法
半熔断状态（Half-Open）尝试恢复服务调用，允许有限的流量调用该服务，并监控调用成功率。如果成功率达到预期，则说明服务已恢复，进入熔断关闭状态；如果成功率仍旧很低，则重新进入熔断关闭状态。
降级降级其实就是为服务提供一个托底方案，一旦服务无法正常调用，就使用托底方案。

常见的容错组件

Hystrix Hystrix是由Netflix开源的一个延迟和容错库，用于隔离访问远程系统、服务或者第三方库，防止级联失败，从而提升系统的可用性与容错性。
Resilience4J Resilicence4J一款非常轻量、简单，并且文档非常清晰、丰富的熔断工具，这也是Hystrix官方推荐的替代产品。不仅如此，Resilicence4j还原生支持Spring Boot 1.x/2.x，而且监控也支持和 prometheus等多款主流产品进行整合。
Sentinel Sentinel 是阿里巴巴开源的一款断路器实现，本身在阿里内部已经被大规模采用，非常稳定。

下面是三个组件在各方面的对比：

	Sentinel	Hystrix
隔离策略	信号量隔离	线程池隔离/信号量隔离
熔断降级策略	基于响应时间或失败比率	基于失败比率
实时指标实现	滑动窗口	滑动窗口（基于 RxJava）
规则配置	支持多种数据源	支持多种数据源
扩展性	多个扩展点	插件的形式
基于注解的支持	即将支持	支持
限流	基于 QPS，支持基于调用关系的限流	不支持
流量整形	支持慢启动、匀速器模式	不支持
系统负载保护	支持	不支持
控制台	开箱即用，可配置规则、查看秒级监控、机器发现等	不完善
常见框架的适配	Servlet、Spring Cloud、Dubbo、gRPC 等	Servlet、Spring Cloud Netflix

Sentinel入门

什么是Sentinel

Sentinel (分布式系统的流量防卫兵) 是阿里开源的一套用于服务容错的综合性解决方案。它以流量为切入点, 从流量控制、熔断降级、系统负载保护等多个维度来保护服务的稳定性。

Sentinel 具有以下特征:

丰富的应用场景：Sentinel 承接了阿里巴巴近 10 年的双十一大促流量的核心场景, 例如秒杀（即突发流量控制在系统容量可以承受的范围）、消息削峰填谷、集群流量控制、实时熔断下游不可用应用等。
完备的实时监控：Sentinel 提供了实时的监控功能。通过控制台可以看到接入应用的单台机器秒级数据, 甚至 500 台以下规模的集群的汇总运行情况。
广泛的开源生态：Sentinel 提供开箱即用的与其它开源框架/库的整合模块, 例如与 Spring Cloud、Dubbo、gRPC 的整合。只需要引入相应的依赖并进行简单的配置即可快速地接入 Sentinel。
完善的 SPI 扩展点：Sentinel 提供简单易用、完善的 SPI 扩展接口。您可以通过实现扩展接口来快速地定制逻辑。例如定制规则管理、适配动态数据源等。

Sentinel 分为两个部分:

核心库（Java 客户端）不依赖任何框架/库,能够运行于所有 Java 运行时环境，同时对 Dubbo / Spring Cloud 等框架也有较好的支持。
控制台（Dashboard）基于 Spring Boot 开发，打包后可以直接运行，不需要额外的 Tomcat 等应用容器。

sentinel简单模式之流控QPS

微服务集成Sentinel

为微服务集成Sentinel非常简单, 只需要加入Sentinel的依赖即可

1 在订单模块(shop-order)的pom.xml中加入下面依赖

<!--sentinel-->
<dependency>
	<groupId>com.alibaba.cloud</groupId>
	<artifactId>spring-cloud-starter-alibaba-sentinel</artifactId>
</dependency>

网关gateway集成sentinel,需还另添加以下依赖（本篇用不上网关，可以不导）

<dependency>
    <groupId>com.alibaba.cloud</groupId>
    <artifactId>spring-cloud-alibaba-sentinel-gateway</artifactId>
</dependency>

2 编写一个Controller测试使用

安装Sentinel控制台

Sentinel 提供一个轻量级的控制台, 它提供机器发现、单机资源实时监控以及规则管理等功能。

1 下载jar包,解压到文件夹 Releases · alibaba/Sentinel · GitHub

2 启动控制台

# 直接使用jar命令启动项目(控制台本身是一个SpringBoot项目)
java -Dserver.port=8080 -Dcsp.sentinel.dashboard.server=localhost:8080 -Dproject.name=sentinel-dashboard -jar sentinel-dashboard-1.7.0.jar

#参考1
java -jar sentinel-dashboard-1.8.4.jar --server.port=8080

#参考2
java -Dserver.port=8080 -Dcsp.sentinel.dashboard.server=localhost:8080 -Dproject.name=sentinel-dashboard -jar sentinel-dashboard-1.8.1.jar

启动完了之后，我们访问一下流控的监控平台账号和密码都是sentinel

补充：了解控制台的使用原理 Sentinel的控制台其实就是一个SpringBoot编写的程序。我们需要将我们的微服务程序注册到控制台上, 即在微服务中指定控制台的地址, 并且还要开启一个跟控制台传递数据的端口, 控制台也可以通过此端口调用微服务中的监控程序获取微服务的各种信息。

3 修改shop-order ,在里面加入有关控制台的配置

spring:
    application:
        name: shop-order
    cloud:
        nacos:
            discovery:
                server-addr: localhost:8848
        sentinel:
            transport:
                port: 9999 #跟控制台交流的端口,随意指定一个未使用的端口即可
                dashboard: localhost:8080 # 指定控制台服务的地址

再重启一下shop-order，刚进sentinel界面是空的，我们刷新一下订单微服务(加了流控依赖)

在sentinel里面做限流

通过控制台快速频繁访问, 观察效果

Sentinel的概念和功能

基本概念

资源就是Sentinel要保护的东西 资源是 Sentinel 的关键概念。它可以是 Java 应用程序中的任何内容，可以是一个服务，也可以是一个方法，甚至可以是一段代码。
- 我们入门案例中的方法就可以认为是一个资源
规则 规则就是用来定义如何进行保护资源的 作用在资源之上, 定义以什么样的方式保护资源，主要包括流量控制规则、熔断降级规则以及系统保护规则。
- 我们入门案例中就是为资源设置了一种流控规则, 限制了进入的流量

重要功能

Sentinel的主要功能就是容错，主要体现为下面这三个：

流量控制流量控制在网络传输中是一个常用的概念，它用于调整网络包的数据。任意时间到来的请求往往是随机不可控的，而系统的处理能力是有限的。我们需要根据系统的处理能力对流量进行控制。 Sentinel 作为一个调配器，可以根据需要把随机的请求调整成合适的形状。
熔断降级当检测到调用链路中某个资源出现不稳定的表现，例如请求响应时间长或异常比例升高的时候，则对这个资源的调用进行限制，让请求快速失败，避免影响到其它的资源而导致级联故障。

Sentinel 对这个问题采取了两种手段:

通过并发线程数进行限制 Sentinel 通过限制资源并发线程的数量，来减少不稳定资源对其它资源的影响。当某个资源出现不稳定的情况下，例如响应时间变长，对资源的直接影响就是会造成线程数的逐步堆积。当线程数在特定资源上堆积到一定的数量之后，对该资源的新请求就会被拒绝。堆积的线程完成任务后才开始继续接收请求。
通过响应时间对资源进行降级除了对并发线程数进行控制以外，Sentinel 还可以通过响应时间来快速降级不稳定的资源。当依赖的资源出现响应时间过长后，所有对该资源的访问都会被直接拒绝，直到过了指定的时间窗口之后才重新恢复。

Sentinel 和 Hystrix 的区别两者的原则是一致的, 都是当一个资源出现问题时, 让其快速失败, 不要波及到其它服务但是在限制的手段上, 确采取了完全不一样的方法: Hystrix 采用的是线程池隔离的方式, 优点是做到了资源之间的隔离, 缺点是增加了线程切换的成本。 Sentinel 采用的是通过并发线程的数量和响应时间来对资源做限制。

系统负载保护 Sentinel 同时提供系统维度的自适应保护能力。当系统负载较高的时候，如果还持续让请求进入可能会导致系统崩溃，无法响应。在集群环境下，会把本应这台机器承载的流量转发到其它的机器上去。如果这个时候其它的机器也处在一个边缘状态的时候，Sentinel 提供了对应的保护机制，让系统的入口流量和系统的负载达到一个平衡，保证系统在能力范围之内处理最多的请求。 总之一句话: 我们需要做的事情，就是在Sentinel的资源上配置各种各样的规则，来实现各种容错的功 能。

sentinel流控简单模式之并发线程数

我们将刚刚创建的删除

再新增一个流控小编刚刚测试访问多次了，不会生效，因为并发线程数跟QPS不一样，没有达到1的阈值

阈值类型/单机阈值：

QPS（每秒请求数量）: 当调用该接口的QPS达到阈值的时候，进行限流

线程数：当调用该接口的线程数达到阈值的时候，进行限流

是否集群：暂不需要集群接下来我们以QPS为例来研究限流规则的配置。

我们使用压测工具

前台刷新

由此可见，并发线程数的门槛相对来说要高于QPS

sentinel流控之关联模式&链路模式

关联模式

关联流控模式指的是，当指定接口关联的接口达到限流条件时，开启对指定接口开启限流。

将刚刚的流控删除掉

OrderCtroller

package com.oyang.shoporder.controller;

import com.oyang.model.Order;
import com.oyang.model.Product;
import com.oyang.model.User;
import com.oyang.shoporder.service.ProductService;
import org.apache.http.HttpRequest;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.cloud.client.discovery.DiscoveryClient;
import org.springframework.web.bind.annotation.PathVariable;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;
import org.springframework.web.client.RestTemplate;

import javax.servlet.http.HttpServletRequest;
import java.util.concurrent.TimeUnit;

/**
 * @author oyang
 * @site https://blog.csdn.net
 * @qq 1828190940
 * @create  2022-11-24 16:07
 */
@RestController
@RequestMapping("/order")
public class OrderController {

    @Autowired
    private RestTemplate restTemplate;
    @Autowired
    public ProductService productService;

    @RequestMapping("/get/{uid}/{pid}")
    public Order get(@PathVariable("uid") Integer uid
                    , @PathVariable("pid") Integer pid
                    , HttpServletRequest request){
        String url = "shop-product";
        String url2 ="shop-user";

        /**
         * 要在订单微服务中调用 用户微服务、商品微服务--也就意味着跨项目调用
         * httpClients
         */
        //得到用户对象
        User user = restTemplate.getForObject("http://"+url2+"/user/get/" + uid, User.class);
        //得到商品对象
//        Product product = restTemplate.getForObject("http://"+url+"/product/get/" + pid, Product.class);
        //通过restTemplate调用商品微服务
        Product product = productService.findByPid(pid);
        Order order = new Order();
        order.setUsername(user.getUsername());
        order.setUid(user.getUid());
        order.setPprice(product.getPprice());
        order.setPname(product.getPname());
        order.setPid(product.getPid());
        order.setOid(System.currentTimeMillis());//随机生成id
        order.setNumber(product.getStock());
        return order;
    }


    //    流控模式：关联模式
    @RequestMapping("/message1")
    public String message1(){
        System.out.println("message1........");
        return "message1...";
    }


//    sentinel中的熔断降级：平均响应时间
//    预测的结果：平均时间大于0.22s，那么会出现降级处理结果
//    如果平均时间小于0.22s，就正常响应结果
    @RequestMapping("/message2")
    public String message2() {
        try {
//        代表当前方法至少需要执行0.22s
            TimeUnit.MILLISECONDS.sleep(220);
        } catch (InterruptedException e) {
            e.printStackTrace();
        }
        return "message2";
    }

}

添加关联模式 修改压测工具

启动压测工具

非正常也不受影响

受影响

链路模式

链路流控模式指的是，当从某个接口过来的资源达到限流条件时，开启限流。它的功能有点类似于针对来源配置项，区别在于：针对来源是针对上级微服务，而链路流控是针对上级接口，也就是说它的粒度更细。

第1步：编写一个service，在里面添加一个方法message

OrderServiceImpl2

package com.oyang.shoporder.service;

import com.alibaba.csp.sentinel.annotation.SentinelResource;
import com.alibaba.csp.sentinel.slots.block.BlockException;
import org.springframework.stereotype.Service;
 
import java.util.HashMap;
import java.util.Map;
 
@Service
public class OrderServiceImpl2 {
    @SentinelResource(value = "message", blockHandler = "failBlockHandler")
    public Map message() {
        Map map = new HashMap();
        map.put("code", "200");
        map.put("msg", "正常响应成功");
        return map;
    }

    public Map failBlockHandler(BlockException be) {
        Map map = new HashMap();
        map.put("code", "-1");
        map.put("msg", "接口被限流了...");
        return map;
    }
}

第2步：在Controller中声明两个方法，分别调用service中的方法message

package com.oyang.shoporder.controller;

import com.oyang.model.Order;
import com.oyang.model.Product;
import com.oyang.model.User;
import com.oyang.shoporder.service.OrderServiceImpl2;
import com.oyang.shoporder.service.ProductService;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.web.bind.annotation.PathVariable;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;
import org.springframework.web.client.RestTemplate;

import javax.servlet.http.HttpServletRequest;
import java.util.Map;
import java.util.concurrent.TimeUnit;

/**
 * @author oyang
 * @site https://blog.csdn.net
 * @qq 1828190940
 * @create  2022-11-24 16:07
 */
@RestController
@RequestMapping("/order")
public class OrderController {

    @Autowired
    private RestTemplate restTemplate;
    @Autowired
    public ProductService productService;

    @RequestMapping("/get/{uid}/{pid}")
    public Order get(@PathVariable("uid") Integer uid
                    , @PathVariable("pid") Integer pid
                    , HttpServletRequest request){
        String url = "shop-product";
        String url2 ="shop-user";

        /**
         * 要在订单微服务中调用 用户微服务、商品微服务--也就意味着跨项目调用
         * httpClients
         */
        //得到用户对象
        User user = restTemplate.getForObject("http://"+url2+"/user/get/" + uid, User.class);
        //得到商品对象
//        Product product = restTemplate.getForObject("http://"+url+"/product/get/" + pid, Product.class);
        //通过restTemplate调用商品微服务
        Product product = productService.findByPid(pid);
        Order order = new Order();
        order.setUsername(user.getUsername());
        order.setUid(user.getUid());
        order.setPprice(product.getPprice());
        order.setPname(product.getPname());
        order.setPid(product.getPid());
        order.setOid(System.currentTimeMillis());//随机生成id
        order.setNumber(product.getStock());
        return order;
    }


    //    流控模式：关联模式
    @RequestMapping("/message1")
    public String message1(){
        System.out.println("message1........");
        return "message1...";
    }



    @Autowired
    private OrderServiceImpl2 orderService;
    //        主要讲解 sentinel 中的 链路流控模式
    @RequestMapping("/message3")
    public Map message3() {
        return orderService.message();
    }
    @RequestMapping("/message4")
    public Map message4() {
        return orderService.message();
    }
}

删除掉之前的关联模式，重启订单的微服务

sentinel控制台

修改配置application.yml

第3步: 禁止收敛URL的入口

context 从1.6.3 版本开始，Sentinel Web filter默认收敛所有URL的入口context，因此链路限流不生效。 1.7.0 版本开始（对应SCA的2.1.1.RELEASE)，官方在CommonFilter 引入了 WEB_CONTEXT_UNIFY 参数，用于控制是否收敛context。将其配置为 false 即可根据不同的 URL 进行链路限流。 SCA 2.1.1.RELEASE之后的版本,可以通过配置spring.cloud.sentinel.web-context-unify=false即可关闭收敛

第4步: 控制台配置限流规则

注意：message3和message4调的是同一个方法

sentinel降级之平均响应时间&异常比例模式

降级规则

本质就是一个托底方案

降级规则就是设置当满足什么条件的时候，对服务进行降级。

在controller中增加一些代码用以证明

//    sentinel中的熔断降级：平均响应时间
//    预测的结果：平均时间大于0.22s，那么会出现降级处理结果
//    如果平均时间小于0.22s，就正常响应结果
    @RequestMapping("/message2")
    public String message2() {
        try {
//        代表当前方法至少需要执行0.22s
            TimeUnit.MILLISECONDS.sleep(220);
        } catch (InterruptedException e) {
            e.printStackTrace();
        }
        return "message2";
    }

点击熔断解释这个配置：在1秒钟发送5个请求，其中20%的请求时间是大于200ms，那么就做熔断降级处理

修改压测工具并且启动

刷新被限流异常比例

当资源的每秒异常总数占通过量的比值超过阈值之后，资源进入降级状态，即在接下的时间窗口（以 s 为单位）之内，对这个方法的调用都会自动地返回。异常比率的阈值范围是 [0.0, 1.0]。

在controlle中添加一定的代码

 
 //    sentinel中的熔断降级：异常比例
    int i = 0;
    @RequestMapping("/message5")
    public String message5() {
        i++;
        //异常比例为0.333
        if (i % 3 == 0){
            throw new RuntimeException();
        }
        return "message5";
    }

新增熔断和之前一样记得修改压测工具并且启动

当压测工具已经结束运行的时候，再点击刷新就会报页面错误

自定义异常返回

新建一个config的包直接复制进去

package com.oyang.shoporder.config;

import com.alibaba.csp.sentinel.adapter.spring.webmvc.callback.BlockExceptionHandler;
import com.alibaba.csp.sentinel.slots.block.BlockException;
import com.alibaba.csp.sentinel.slots.block.degrade.DegradeException;
import com.alibaba.csp.sentinel.slots.block.flow.FlowException;
import com.alibaba.fastjson.JSON;
import lombok.AllArgsConstructor;
import lombok.Data;
import lombok.NoArgsConstructor;
import org.springframework.stereotype.Component;

import javax.servlet.http.HttpServletRequest;
import javax.servlet.http.HttpServletResponse;

//异常处理页面
@Component
public class ExceptionHandlerPage implements BlockExceptionHandler {
    @Override
    public void handle(HttpServletRequest request, HttpServletResponse response, BlockException e) throws Exception {
        response.setContentType("application/json;charset=utf-8");
        ResponseData data = null;
        if (e instanceof FlowException) {
            data = new ResponseData(-1, "接口被限流了...");
        } else if (e instanceof DegradeException) {
            data = new ResponseData(-2, "接口被降级了...");
        }
        response.getWriter().write(JSON.toJSONString(data));
    }
}
 
@Data
@AllArgsConstructor//全参构造
@NoArgsConstructor
//无参构造
class ResponseData {
    private int code;
    private String message;
}

重新启动订单微服务，新增熔断，启动压测工具