docker consul 容器的自动发现与注册

news2024/11/15 21:43:58

consul相关知识

什么是注册与发现

服务注册与发现是微服务架构中不可或缺的重要组件。起初服务都是单节点的，不保障高可用性，也不考虑服务的压力承载，服务之间调用单纯的通过接口访问。直到后来出现了多个节点的分布式架构，起初的解决手段是在服务前端负载均衡，这样前端必须要知道所有后端服务的网络位置，并配置在配置文件中。这里就会有几个问题：
●如果需要调用后端服务A-N，就需要配置N个服务的网络位置，配置很麻烦
●后端服务的网络位置变化，都需要改变每个调用者的配置
 

既然有这些问题，那么服务注册与发现就是解决这些问题的。后端服务A-N可以把当前自己的网络位置注册到服务发现模块，服务发现就以K-V的方式记录下来，K一般是服务名，V就是IP:PORT。服务发现模块定时的进行健康检查，轮询查看这些后端服务能不能访问的了。前端在调用后端服务A-N的时候，就跑去服务发现模块问下它们的网络位置，然后再调用它们的服务。这样的方式就可以解决上面的问题了，前端完全不需要记录这些后端服务的网络位置，前端和后端完全解耦！

什么是consul

consul是google开源的一个使用go语言开发的服务管理软件。支持多数据中心、分布式高可用的、服务发现和配置共享。采用Raft算法，用来保证服务的高可用。内置了服务注册与发现框架、分布一致性协议实现、健康检查、Key/Value存储、多数据中心方案，不再需要依赖其他工具（比如ZooKeeper等）。服务部署简单，只有一个可运行的二进制的包。每个节点都需要运行agent，他有两种运行模式server 和 client。 每个数据中心官方建议需要3或5个server节点以保证数据安全，同时保证server-leader的选举能够正确的进行。 
 

服务注册：当一个服务启动时，会把自己的元数据（IP端口 服务名称 健康状态）注册到服务注册表中。

这个注册表的服务（consul,zookeeper）。也可以在云平台部署。

服务发现：其他服务需要和这个服务通信时，只需要向注册查询服务位置信息（IP+端口），这样的话可以直接在服务注册表中，直接获取我要的信息，不需要到静态配置查看。

服务注册于发现的优点

  • 1.动态性，可以在运行时动态添加和移除服务，不需要额外的人工操作和配置。
  • 2.弹性，一旦某个服务不可用，这个服务注册表可以及时的更新，避免其他服务避免请求失败。
  • 3.可扩展：适应不断变化的服务数量。
  • 4.服务费调用时，透明性，前端和后端实现解耦。

服务注册和发现机制和其他工具配合使用的，负载均衡，健康检测，配置管理（一键同步）。

以上是微服务架构中非常重要的组件。

consul的主要特点

1.服务发现与自动注册，位置信息（ip+端口+服务名称）

2.健康检查，服务注册到consul，一并加入系统的还有健康状态，定期发送一个心跳检查，如果服务不存在，consul会自动把他移除。

3.分布式锁：consul提供了一个分布式锁的功能，协调多个节点之间的操作，防止竞争条件和数据冲突。

      1.每一个服务的发现和注册都是一个会话 session，

  •        微服务1 在注册到consul的时候，consul会和这个服务的会话创建一个锁，锁用来标识具体的服务器。会话和锁之间关联
  •       1获取锁：微服务2，建立会话，获取锁，如果申请的锁没有被使用，客户端成功获取，如果客户端已经存在，表示已有其他服务在占用，会给你分配一个新的锁（KV 存储）
  •        释放锁：任务完成或者断开了连接，会把锁释放，删除会话和锁之间的关系。删除与锁关联的键

4.KV存储：key-value 分布式的键值对存储系统，存储配置信息，锁，特性。应用程序可以使用consul的键值对信息来动态的获取配置信息

5.多数据中心支持，consul可以在多个地域进行部署，可以数据中心之间的发现和注册功能。

6.DNS和http的API：consul可以支持DNS接口，通过域名解析定位服务的位置。http api：通过API应用接口，可以调用consul的信息。服务信息，健康检测等等。

7.事件通知，如有关键信息，可以随时获取通知

consul部署和服务发现

服务器组件IP
docker1consul  consul-template20.0.0.20
docker2registrator    20.0.0.30
docker3consul20.0.0.40

docker1

systemctl stop firewalld.service
setenforce 0

1. 建立 Consul 服务
mkdir /opt/consul
cp consul_0.9.2_linux_amd64.zip /opt/consul
cd /opt/consul
unzip consul_0.9.2_linux_amd64.zip
mv consul /usr/local/bin/

//设置代理，在后台启动 consul 服务端
consul agent \
-server \
-bootstrap \
-ui \
-data-dir=/var/lib/consul-data \
-bind=20.0.0.20 \
-client=0.0.0.0 \
-node=consul-server01 &> /var/log/consul.log &



consul agent \
开启监听服务
-server \
指定集群当中服务器节点。consul的RAFT算法实现分布式结构中节点的一致性。集群当中的成员，直接成为集群的leader，后续加入的服务器都是follower。

-bootstrap \
表示该节点是引导节点，引导选举过程，以及为后续加入的server做引导程序，加入集群

-ui \
启动图形化界面

-data-dir=/var/lib/consul-data \
consul存储数据的路径

-bind=192.168.233.49 \
服务端绑定的IP地址，以便节点当中通信

-client=0.0.0.0 \
客户端地址，任意主机都可以和server建立通信（生产中是指定服务器）

-node=consul-server01 
指定consul节点的名称，在集群当中consul节点的名称都是唯一的，不可以重复。

&> /var/log/consul.log &
重定向输出到consul.log

查看服务是否启动

netstat -natp | grep consul

启动consul后默认会监听5个端口：

  • 8300： 用于Raft协议的端口。Consul使用Raft算法进行分布式一致性，这个端口用于处理复制、领导者选举等。
  • 8301： 用于LAN Gossip的端口。LAN Gossip是Consul中用于在局域网内进行节点间通信和信息传播的协议。
  • 8302： 用于WAN Gossip的端口。WAN Gossip用于在广域网（WAN）中进行节点间的通信和信息传播。
  • 8500： 用于Web UI的端口。Consul提供一个用户界面，可以通过这个端口访问，用于可视化地查看和管理Consul的集群状态。
  • 8600： 用于DNS查询的端口。Consul提供DNS接口，可以通过这个端口进行DNS查询，以获取节点和服务的信息。
     

查看集群信息

#查看members状态

#查看members状态
consul members

查看集群状态

consul operator raft list-peers
查看集群状态

curl 127.0.0.1:8500/v1/status/peers
查看集群的server成员

curl 127.0.0.1:8500/v1/status/leader
查看集群的领导者

curl 127.0.0.1:8500/v1/catalog/services
查看已经被集群发现和注册的服务

curl 127.0.0.1:8500/v1/catalog/nodes
查看集群节点的详细信息

docker2

docker run -d \
--name=registrator \
-v /var/run/docker.sock/tmp/docker.sock
--restart=always
--gliderlabs/registrator:latest
--ip=20.0.0.20 \
consul://20.0.0.20:8500



docker run -d \
--name=registrator \
-v /var/run/docker.sock/tmp/docker.sock
docker.sock是docker守护进程的UNIX的套接字文件，把他映射到容器当中，registrator容器可以监听docker的所有事件，并且完成自动注册服务。

--restart=always
--gliderlabs/registrator:latest
--ip=20.0.0.30 \
注册在consul的IP地址。

consul://20.0.0.20:8500
所有发现的服务都会注册到指定的server节点。

创建容器

docker run -itd -p 81:80 --name test-1 -h test1 nginx

-h:指定创建好的主机名

docker run -itd -p 82:80 --name test-2 httpd

如何实现负载均衡

//容器服务自动加入 Nginx 集群
1. 安装 Gliderlabs/Registrator
Gliderlabs/Registrator 可检查容器运行状态自动注册，还可注销 docker 容器的服务到服务配置中心。
目前支持 Consul、Etcd 和 SkyDNS2。 

#客户端执行：
docker run -d \
--name=registrator \
-v /var/run/docker.sock:/tmp/docker.sock \
--restart=always \
gliderlabs/registrator:latest \
--ip=20.0.0.30 \
consul://20.0.0.20:8500

-d: 以后台模式（detached mode）运行容器。

--name=registrator: 为容器指定一个名称为 "registrator"。

-v /var/run/docker.sock:/tmp/docker.sock: 将 Docker 守护进程的 UNIX 套接字（socket）映射到容器内的 /tmp/docker.sock。
这样 registrator 可以监听 Docker 事件并自动注册服务。

--restart=always: 在容器退出时总是重新启动容器。

gliderlabs/registrator:latest: 使用的 Docker 镜像是 gliderlabs/registrator，该镜像包含了 registrator 工具。

--ip=20.0.0.30: 指定 registrator 的 IP 地址为 20.0.0.30。
这是 registrator 在服务发现工具（Consul）中注册服务时使用的 IP 地址。

consul://20.0.0.20:8500: 指定 registrator 使用 Consul 作为服务发现工具，Consul 服务的地址是 20.0.0.20:8500。

测试服务发现功能是否正常

docker run -itd -p:83:80 --name test-01 -h test01 nginx
docker run -itd -p:84:80 --name test-02 -h test02 nginx
docker run -itd -p:88:80 --name test-03 -h test03 httpd

 准备 template nginx 模板文件
//在consul服务器上操作
vim /opt/consul/nginx.ctmpl
#定义nginx upstream一个简单模板
upstream http_backend {
  {{range service "nginx"}}
   server {{.Address}}:{{.Port}};
   {{end}}
}

在这个配置中，{{range service "nginx"}} 遍历了由 Consul 注册的所有服务名称为 "nginx" 的服务。
然后，对于每个服务实例，server {{.Address}}:{{.Port}}; 将服务的地址和端口添加到 http_backend 的 upstream 中。

这样的配置允许 Nginx 动态地发现和负载均衡由 Consul 注册的所有 "nginx" 服务的实例。
这对于构建基于微服务架构的应用程序的负载均衡是非常有用的。

#定义一个server，监听8000端口，反向代理到upstream
server {
    listen 8000;
    server_name localhost 20.0.0.20;
    access_log /var/log/nginx/kgc.com-access.log;							#修改日志路径
    index index.html index.php;
    location / {
        proxy_set_header HOST $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header Client-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_pass http://http_backend;
    }
}

编译安装nginx 

编译安装nginx
yum -y install pcre-devel zlib-devel gcc gcc-c++ make
useradd -M -s /sbin/nologin nginx
tar zxvf nginx-1.22.0.tar.gz -C /opt/
cd /opt/nginx-1.22.0/
./configure --prefix=/usr/local/nginx --user=nginx --group=nginx && make -j 4 && make install

ln -s /usr/local/nginx/sbin/nginx /usr/local/sbin/

3. 配置 nginx
vim /usr/local/nginx/conf/nginx.conf
......
http {
     include       mime.types;
     include  vhost/*.conf;       				#添加虚拟主机目录
     default_type  application/octet-stream;
......

//创建虚拟主机目录
mkdir /usr/local/nginx/conf/vhost

//创建日志文件目录
mkdir /var/log/nginx

//启动nginx
nginx

配置并启动 template

consul-template --consul-addr 192.168.233.10:8500 \
template "/opt/consul/nginx.ctmpl:/usr/local/vhost/test.conf:/usr/local/nginx/sbin/nginx -s reload" \
--log-level=info



consul-template --consul-addr 192.168.233.10:8500 \
指定consul地址(从哪里获取数据)，告诉consul-template从server节点获取数据


template "/opt/consul/nginx.ctmpl:/usr/local/vhost/test.conf:/usr/local/nginx/sbin/nginx -s reload"

第一部分
/opt/consul/nginx.ctmpl
配置文件模板的位置

第二部分
/usr/local/vhost/test.conf
基于模板生成配置文件的位置

第三部分
/usr/local/nginx/sbin/nginx -s reload"
只要集群中服务发生变化，可以随时更新到配置文件当中

log-level=info
设置comsul-template的日志级别为info

另外打开一个终端查看生成配置文件

访问 template-nginx

访问浏览器   ip:8000不断刷新测试轮询

consul的多节点

docker3
cd /opt
拖入consul
unzip consul_0.9.2
...
consul agent \
-server \
-ui \
-data-dir=/var/lib/consul-data \
-bind=192.168.233.60 \
-client=0.0.0.0 \
-node=consul-server02 \
-enable-script-check=true
-datacenter=dc1 \
-join 192.168.233.40 &> /var/log/consul.log &

去浏览器访问

添加成功

脱离集群

consul leave

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1315397.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

基于ssm果蔬经营平台系统源码和论文

基于ssm果蔬经营平台系统源码和论文

首先,论文一开始便是清楚的论述了系统的研究内容。其次,剖析系统需求分析,弄明白“做什么”,分析包括业务分析和业务流程的分析以及用例分析,更进一步明确系统的需求。然后在明白了系统的需求基础上需要进一步地设计系统,主要包罗软件架构模式、整体功能模块、数据库设计。本项…
阅读更多...
Pygame游戏实战九：跳跃小游戏

Pygame游戏实战九：跳跃小游戏

介绍模块 本游戏使用的是由Pycharm中的pygame模块来实现的，也可以在python中运行。通过Pygame制作一个类似与跳跃游戏，但在游戏中并没有进行跳跃，而是通过键盘进行控制。 最小开发框架 详情请看此文章：Pygame游戏模块介绍二&am…
阅读更多...
在4*4的平面上计算2a1+1+1

在4*4的平面上计算2a1+1+1

0 0 0 0 0 0 0 0 0 0 0 1 0 0 0 1 在4*4的平面上有2个点，保持2a1的结构，然后向剩余的14个格子里随机扔2个石子。 共有14*13/291种可能 1 - - - 2 - - - 3 - - 1 4 - - - 1 1 - 1 1 - - - - - - - 1 - - …
阅读更多...
生产环境_Apache Spark技术大牛的实践：使用DataFrame API计算唯一值数量并展示技术（属性报告）

生产环境_Apache Spark技术大牛的实践：使用DataFrame API计算唯一值数量并展示技术（属性报告）

业务背景 给前端提供算法集成好的数据，对算法处理后的数据进行进一步删选展示 可以使用下面代码运行一下看看结果，听有趣的，我写的代码中计算了不同字段的值的数量，并生成了一个显示字符串来描述这些数据的分布情况然后使用"…
阅读更多...
Druid-spring-boot-starter源码阅读-其余组件自动装配

Druid-spring-boot-starter源码阅读-其余组件自动装配

前面我们看完了整个DruidDataSource初始化流程，但是其实Druid除了最核心的数据源之外，还有其他需要自动配置的，细心的人可能看到了，就是利用Import注解导入的四个类。 DruidFilterConfiguration public class DruidFilterConfigu…
阅读更多...
【Leetcode】相同的树、对称二叉树、另一颗树的子树

【Leetcode】相同的树、对称二叉树、另一颗树的子树

相同的树 思路： 这个题目实际上可以分解为许多个相同的子问题，就是检查每一个子树是否相同，然后便可以利用递归的思想来解答。 代码： bool isSameTree(struct TreeNode* p, struct TreeNode* q) {if(pNULL&&qNULL)return…
阅读更多...
C++核心编程思路(1)：①程序的内存模型②引用的作用

C++核心编程思路(1)：①程序的内存模型②引用的作用

文章目录 前言一、不同的存储类型变量，会被存储在什么区？①const修饰的局部变量放在栈区，全局变量放在只读数据区。②static修饰的全局和局部变量都放在静态区（即数据区中的一个小区） 二、栈区1.如果在函数A中定义了一…
阅读更多...
漏洞复现-网神SecGate3600防火墙敏感信息泄露漏洞（附漏洞检测脚本）

漏洞复现-网神SecGate3600防火墙敏感信息泄露漏洞（附漏洞检测脚本）

免责声明 文章中涉及的漏洞均已修复，敏感信息均已做打码处理，文章仅做经验分享用途，切勿当真，未授权的攻击属于非法行为！文章中敏感信息均已做多层打马处理。传播、利用本文章所提供的信息而造成的任何直接或者间接的…
阅读更多...
Axure之动态面板轮播图

Axure之动态面板轮播图

目录 一.介绍 二.好处 三.动态面板轮播图 四.动态面板多方式登录 五.ERP登录 六.ERP的左侧菜单栏 七.ERP的公告栏 今天就到这了哦！！！希望能帮到你了哦！！！ 一.介绍 Axure中的动态面板是一个非常有用的组…
阅读更多...
Mr. Cappuccino的第65杯咖啡——MacOS安装Docker

Mr. Cappuccino的第65杯咖啡——MacOS安装Docker

MacOS安装Docker 下载Docker安装Docker查看Docker相关信息镜像加速 下载Docker Docker官网 Docker文档中心 Docker桌面版下载地址 安装Docker 查看Docker相关信息 docker --versiondocker info镜像加速 阿里云镜像加速器 "registry-mirrors": ["https://gq8…
阅读更多...
Flink-水位线和时间语义

Flink-水位线和时间语义

Flink中的时间含义 在实际应用中，事件时间语义会更为常见。一般情况下，业务日志数据中都会记录数据生成的时间戳（timestamp），它就可以作为事件时间的判断基础。 在Flink中，由于处理时间比较简单&#xff0c…
阅读更多...
4G无线工业级路由器在智能制造设备互联互通中的角色

4G无线工业级路由器在智能制造设备互联互通中的角色

随着工业技术的不断发展和进步，智能制造已经成为了现代制造业的重要趋势和发展方向。而在智能制造过程中，设备之间的互联互通是至关重要的一环。在这个过程中，4G无线工业级路由器扮演着重要的角色，它提供了稳定可靠的网络连接&…
阅读更多...
Linux——进程中被打开的文件

Linux——进程中被打开的文件

C语言中有着许多对文件操作的函数，包括其他语言也有，但是从语言来了解文件有点浅显计算机的一切都离不开操作系统，那么文件跟操作系统也有着密切的关系，所以我们从系统层面来了解文件（在进程中打开的文件）文…
阅读更多...
轻量封装WebGPU渲染系统示例＜49＞- 多种灯光多材质(源码)

轻量封装WebGPU渲染系统示例＜49＞- 多种灯光多材质(源码)

实现方式: 1. 全局的灯光和阴影。 2. 球体和矩形平面使用了相同的材质对象。 3. 通过材质自动关联和组装对应的渲染材质功能节点。 4. 共享uniform或storage的buffer对象。 5. 共享shader module对象。 当前示例源码github地址: https://github.com/vilyLei/voxwebgpu/b…
阅读更多...
优先考虑类型安全的异构容器

优先考虑类型安全的异构容器

在Java中，异构容器是一种可以存储不同类型元素的容器。为了提高类型安全性，可以使用泛型和类型安全的异构容器，而不是传统的非类型安全容器。下面是一个例子，演示如何使用类型安全的异构容器 import java.util.HashMap; import j…
阅读更多...
关于MySQL的bigint问题

关于MySQL的bigint问题

MySQL的bigint(8)能存多大数值？ MySQL的BIGINT(8)可以存储的数值范围是从-9,223,372,036,854,775,808到9,223,372,036,854,775,807。这是因为BIGINT数据类型在MySQL中使用8字节进行存储，每个字节有8位，所以总共可以表示2^64个不同的整数。 …
阅读更多...
INFINI Labs 产品更新 | Easysearch 新增快照搜索功能，Console 支持 OpenSearch 存储

INFINI Labs 产品更新 | Easysearch 新增快照搜索功能，Console 支持 OpenSearch 存储

INFINI Labs 产品又更新啦~，包括 Easysearch v1.7.0、Console v1.13.0。本次各产品更新了 Easysearch 快照搜索功能；Console 支持 OpenSearch 集群存储系统数据、优化了初始化安装向导流程等。 以下是本次更新的详细说明。 INFINI Easysearch v1.7.0 …
阅读更多...
Linux---查看文件内容命令

Linux---查看文件内容命令

1. 查看文件内容命令的使用 命令说明cat查看小型文件more分屏查看大型文件 cat命令的效果图 说明: cat命令结合重定向可以完成多个文件的合并gedit 文件编辑命令，可以查看和编辑文件 more命令的效果图 当查看内容信息过长无法在一屏上显示时，可以使…
阅读更多...
Unity中实现ShaderToy卡通火（移植篇）

Unity中实现ShaderToy卡通火（移植篇）

文章目录 前言一、准备好我们的后处理基础脚本1、C#：2、Shader： 二、开始逐语句对ShaderToy进行转化1、首先，找到我们的主函数 mainImage2、其余的方法全部都是在 mainImage 函数中调用的方法3、替换后的代码(已经没报错了，但是效…
阅读更多...
Centos7 配置Git

Centos7 配置Git

随笔记录 目录 1， 新建用户 2. 给用户设置密码相关操作 3. 为新用户添加sudo 权限 4. 配置Git 4.1 配置Git 4.2 查看id_ras.pub 5, 登录Git 配置SSH 秘钥 6. Centos7 登录Git 7. clone 指定branch到本地 8. 将新代码复制到指定路径 9. 上传指定代码 …
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023