Golang如何优雅接入多个远程配置中心？

news2024/11/19 1:37:09

本文基于viper实现了apollo多实例快速接入，授人以渔，带着大家读源码，详解实现思路，封装成自己的工具类并且开源。

前言

viper是适用于go应用程序的配置解决方案，这款配置管理神器，支持多种类型、开箱即用、极易上手。

本地配置文件的接入能很快速的完成，那么对于远程apollo配置中心的接入，是否也能很快速完成呢？如果有多个apollo实例都需要接入，是否能支持呢？以及apollo远程配置变更后，是否能支持热加载，实时更新呢？

拥抱开源

带着上面的这些问题，结合实际商业项目的实践，已经有较成熟的解决方案。本着分享的原则，现已将xconfig包脱敏开源：github地址，欢迎体验和star。

下面快速介绍下xconfig包的使用与能力，然后针对包的封装实践做个讲解

获取安装

go get -u github.com/jinzaigo/xconfig

Features

  • 支持viper包诸多同名方法
  • 支持本地配置文件和远程apollo配置热加载，实时更新
  • 使用sync.RWMutex读写锁，解决了viper并发读写不安全问题
  • 支持apollo配置中心多实例配置化快速接入

接入示例

本地配置文件

指定配置文件路径完成初始化，即可通过xconfig.GetLocalIns().xxx()链式操作，读取配置

package main

import (
    "fmt"
    "github.com/jinzaigo/xconfig"
)

func main() {
    if xconfig.IsLocalLoaded() {
        fmt.Println("local config is loaded")
        return
    }
    //初始化
    configIns := xconfig.New(xconfig.WithFile("example/config.yml"))
    xconfig.InitLocalIns(configIns)

    //读取配置
    fmt.Println(xconfig.GetLocalIns().GetString("appId"))
    fmt.Println(xconfig.GetLocalIns().GetString("env"))
    fmt.Println(xconfig.GetLocalIns().GetString("apollo.one.endpoint"))
}

xxx支持的操作方法：

  • IsSet(key string) bool
  • Get(key string) interface{}
  • AllSettings() map[string]interface{}
  • GetStringMap(key string) map[string]interface{}
  • GetStringMapString(key string) map[string]string
  • GetStringSlice(key string) []string
  • GetIntSlice(key string) []int
  • GetString(key string) string
  • GetInt(key string) int
  • GetInt32(key string) int32
  • GetInt64(key string) int64
  • GetUint(key string) uint
  • GetUint32(key string) uint32
  • GetUint64(key string) uint64
  • GetFloat(key string) float64
  • GetFloat64(key string) float64
  • GetFloat32(key string) float32
  • GetBool(key string) bool
  • SubAndUnmarshal(key string, i interface{}) error

远程apollo配置中心

指定配置类型与apollo信息完成初始化，即可通过xconfig.GetRemoteIns(key).xxx()链式操作，读取配置

单实例场景

//初始化
configIns := xconfig.New(xconfig.WithConfigType("properties"))
err := configIns.AddApolloRemoteConfig(endpoint, appId, namespace, backupFile)
if err != nil {
    ...handler
}
xconfig.AddRemoteIns("ApplicationConfig", configIns)

//读取配置
fmt.Println(xconfig.GetRemoteIns("ApplicationConfig").AllSettings())

多实例场景

在本地配置文件config.yaml维护apollo配置信息，然后批量完成多个实例的初始化，即可通过xconfig.GetRemoteIns(key).xxx()链式操作，读取配置

#apollo配置，支持多实例多namespace
apollo:
  one:
    endpoint: xxx
    appId: xxx
    namespaces:
      one:
        key: ApplicationConfig   #用于读取配置，保证全局唯一，避免相互覆盖
        name: application        #注意：name不要带类型（例如application.properties），这里name和type分开配置
        type: properties
      two:
        key: cipherConfig
        name: cipher
        type: properties
    backupFile: /tmp/xconfig/apollo_bak/test.agollo #每个appId使用不同的备份文件名，避免相互覆盖

package main

import (
    "fmt"
    "github.com/jinzaigo/xconfig"
)

type ApolloConfig struct {
    Endpoint   string                     `json:"endpoint"`
    AppId      string                     `json:"appId"`
    Namespaces map[string]ApolloNameSpace `json:"namespaces"`
    BackupFile string                     `json:"backupFile"`
}

type ApolloNameSpace struct {
    Key  string `json:"key"`
    Name string `json:"name"`
    Type string `json:"type"`
}

func main() {
    //本地配置初始化
    xconfig.InitLocalIns(xconfig.New(xconfig.WithFile("example/config.yml")))
    if !xconfig.GetLocalIns().IsSet("apollo") {
        fmt.Println("without apollo key")
        return
    }

    apolloConfigs := make(map[string]ApolloConfig, 0)
    err := xconfig.GetLocalIns().SubAndUnmarshal("apollo", &apolloConfigs)
    if err != nil {
        fmt.Println(apolloConfigs)
        fmt.Println("SubAndUnmarshal error:", err.Error())
        return
    }

    //多实例初始化
    for _, apolloConfig := range apolloConfigs {
        for _, namespaceConf := range apolloConfig.Namespaces {
            configIns := xconfig.New(xconfig.WithConfigType(namespaceConf.Type))
            err = configIns.AddApolloRemoteConfig(apolloConfig.Endpoint, apolloConfig.AppId, namespaceConf.Name, apolloConfig.BackupFile)
            if err != nil {
                fmt.Println("AddApolloRemoteConfig error:" + err.Error())
            }
            xconfig.AddRemoteIns(namespaceConf.Key, configIns)
        }
    }

    //读取
    fmt.Println(xconfig.GetRemoteIns("ApplicationConfig").AllSettings())
}

封装实践

欢迎大家关注我们，拥抱开源：加入我和劲仔的交流群

学会使用xconfig包后，能快速的实现本地配置文件和远程apollo配置中心多实例的接入。再进一步了解这个包在封装过程都中遇到过哪些问题，以及对应的解决方案，能更深入的理解与使用这个包，同时也有助于增加读者自己在封装新包时的实践理论基础。

1.viper远程连接不支持apollo

查看viper的使用文档，会发现viper是支持远程K/V存储连接的，所以一开始我尝试着连接apollo

v := viper.New()
v.SetConfigType("properties")
err := v.AddRemoteProvider("apollo", "http://endpoint", "application")
if err != nil {
    panic(fmt.Errorf("AddRemoteProvider error: %s", err))
}
fmt.Println("AddRemoteProvider success")
//执行结果:
//panic: AddRemoteProvider error: Unsupported Remote Provider Type "apollo"

执行后发现，并不支持apollo，随即查看viper源码，发现只支持以下3个provider

// SupportedRemoteProviders are universally supported remote providers.
var SupportedRemoteProviders = []string{"etcd", "consul", "firestore"}

解决方案：

安装shima-park/agollo包: go get -u github.com/shima-park/agollo

安装成功后，只需要在上面代码基础上，最前面加上 remote.SetAppID("appId") 即可连接成功

import (
  "fmt"
  remote "github.com/shima-park/agollo/viper-remote"
  "github.com/spf13/viper"
)

remote.SetAppID("appId")
v := viper.New()
v.SetConfigType("properties")
err := v.AddRemoteProvider("apollo", "http://endpoint", "application")
if err != nil {
    panic(fmt.Errorf("AddRemoteProvider error: %s", err))
}
fmt.Println("AddRemoteProvider success")
//执行结果:
//AddRemoteProvider success

2.agollo是怎么让viper支持apollo连接的呢

不难发现，在执行 remote.SetAppID("appId") 之前，remote.go 中init方法，会往viper.SupportedRemoteProviders中append一个"apollo"，其实就是让viper认识一下这个provider，随后将viper.RemoteConfig 做重新赋值，并重新实现了viper中的Get Watch WatchChannel这3个方法，里边就会做apollo连接的适配。

//github.com/shima-park/agollo/viper-remote/remote.go 278-284行
func init() {
  viper.SupportedRemoteProviders = append(
    viper.SupportedRemoteProviders,
    "apollo",
  )
  viper.RemoteConfig = &configProvider{}
}

//github.com/spf13/viper/viper.go 113-120行
type remoteConfigFactory interface {
  Get(rp RemoteProvider) (io.Reader, error)
  Watch(rp RemoteProvider) (io.Reader, error)
  WatchChannel(rp RemoteProvider) (<-chan *RemoteResponse, chan bool)
}

// RemoteConfig is optional, see the remote package
var RemoteConfig remoteConfigFactory

3.agollo只支持apollo单实例，怎么扩展为多实例呢

执行remote.SetAppID("appId")之后，这个appId是往全局变量appID里写入的，并且在初始化时也是读取的这个全局变量。带来的问题就是不支持apollo多实例，那么解决呢

//github.com/shima-park/agollo/viper-remote/remote.go 26行
var (
  // apollod的appid
  appID string
  ...
)
func SetAppID(appid string) {
  appID = appid
}

//github.com/shima-park/agollo/viper-remote/remote.go 252行
switch rp.Provider() {
...
case "apollo":
    return newApolloConfigManager(appID, rp.Endpoint(), defaultAgolloOptions)
}

解决方案：

既然agollo包能让viper支持apollo连接，那么为什么我们自己的包不能让viper也支持apollo连接呢？并且我们还可以定制化的扩展成多实例连接。实现步骤如下：

  1. shima-pack/agollo/viper-remote/remote.go复制一份出来，把全局变量appID删掉
  2. 定义"providers sync.Map"，实现AddProviders()方法，将多个appId往里边写入，里边带上agollo.Option相关配置；同时关键操作要将新的provider往viper.SupportedRemoteProviders append，让viper认识这个新类型
  3. 使用的地方，根据写入时用的provider 串，去读取，这样多个appId和Option就都区分开了
  4. 其他代码有标红的地方就相应改改就行了

核心代码 查看GitHub即可：

//github.com/jinzaigo/xconfig/remote/remote.go
var (
  ...
  providers sync.Map
)

func init() {
  viper.RemoteConfig = &configProvider{} //目的：重写viper.RemoteConfig的相关方法
}

type conf struct {
  appId string
  opts  []agollo.Option
}

//【重要】这里是实现支持多个appId的核心操作
func AddProviders(appId string, opts ...agollo.Option) string {
    provider := "apollo:" + appId
    _, loaded := providers.LoadOrStore(provider, conf{
        appId: appId,
        opts:  opts,
    })

    //之前未存储过，则向viper新增一个provider，让viper认识这个新提供器
    if !loaded {
        viper.SupportedRemoteProviders = append(
            viper.SupportedRemoteProviders,
            provider,
        )
    }

    return provider
}

//使用的地方
func newApolloConfigManager(rp viper.RemoteProvider) (*apolloConfigManager, error) {
  //读取provider相关配置
  providerConf, ok := providers.Load(rp.Provider())
  if !ok {
    return nil, ErrUnsupportedProvider
  }

  p := providerConf.(conf)
  if p.appId == "" {
    return nil, errors.New("The appid is not set")
  }
  ...
}

4.viper开启热加载后会有并发读写不安全问题

首先 viper的使用文档，也说明了这个并发读写不安全问题，建议使用sync包避免panic

然后本地通过-race试验，也发现会有这个竞态问题

进一步分析viper实现热加载的源代码：其实是通过协程实时更新kvstrore这个map，读取数据的时候也是从kvstore读取，并没有加锁，所以会有并发读写不安全问题

// 在github.com/spf13/viper/viper.go 1909行
// Retrieve the first found remote configuration.
func (v *Viper) watchKeyValueConfigOnChannel() error {
  if len(v.remoteProviders) == 0 {
    return RemoteConfigError("No Remote Providers")
  }

  for _, rp := range v.remoteProviders {
    respc, _ := RemoteConfig.WatchChannel(rp)
    // Todo: Add quit channel
    go func(rc <-chan *RemoteResponse) {
      for {
        b := <-rc
        reader := bytes.NewReader(b.Value)
        v.unmarshalReader(reader, v.kvstore)
      }
    }(respc)
    return nil
  }
  return RemoteConfigError("No Files Found")
}

解决方案：

写：不使用viper自带热加载方法，而是采用重写，也是使用协程实时更新，但会加读写锁。

读：也加读写锁

读写锁核心代码GitHub：

//github.com/jinzaigo/xconfig/config.go
type Config struct {
    configType string
    viper      *viper.Viper
    viperLock  sync.RWMutex
}

//写
//_ = c.viper.WatchRemoteConfigOnChannel()
respc, _ := viper.RemoteConfig.WatchChannel(remote.NewProviderSt(provider, endpoint, namespace, ""))
go func(rc <-chan *viper.RemoteResponse) {
    for {
        <-rc
        c.viperLock.Lock()
        err = c.viper.ReadRemoteConfig()
        c.viperLock.Unlock()
    }
}(respc)

//读
func (c *Config) Get(key string) interface{} {
    c.viperLock.RLock()
    defer c.viperLock.RUnlock()
    return c.viper.Get(key)
}

5.如何正确的输入namespace参数

问题描述：

调用agollo包中的相关方法，输入namespace=application.properties（带类型），发现主动拉取数据成功，远程变更通知后数据拉取失败；输入namespace=application（不带类型），发现主动拉取数据成功，远程变更通知后数据拉取也能成功。两者输入差异就在于是否带类型

问题原因：

查看Apollo官方接口文档，配置更新推送接口notifications/v2 notifications字段说明，一目了然。

基于上述说明，我们在代码里做了兼容处理，并且配置文件也加上了使用说明

//github.com/jinzaigo/xconfig/config.go 72行
func (c *Config) AddApolloRemoteConfig(endpoint, appId, namespace, backupFile string) error {
    ...
    //namespace默认类型不用加后缀，非默认类型需要加后缀（备注：这里会涉及到apollo变更通知后的热加载操作 Start->longPoll）
    if c.configType != "properties" {
        namespace = namespace + "." + c.configType
    }
    ...
}

//config.yml配置说明
namespaces:
    one:
        key: ApplicationConfig   #用于读取配置，保证全局唯一，避免相互覆盖
        name: application        #注意：name不要带类型（例如application.properties），这里name和type分开配置
        type: properties

总结

基于实际商业项目实践，提升配置管理组件能力，实现了本地配置文件与远程apollo配置中心多实例快速接入；

从xconfig包的快速上手的使用说明到封装实践难点痛点的解析，双管齐下，让你更深入的理解，希望对你有所帮助与收获。

开源项目xconfig，github地址。欢迎体验与star。

一起学习

欢迎在CSDN私信我，也欢迎 加我好友 一起学习。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/183800.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

livedata+ lambda遇到的坑

livedata+ lambda遇到的坑

首先抛出个异常FATAL EXCEPTION: mainProcess: com.lion.media, PID: 5513java.lang.IllegalArgumentException: Cannot add the same observer with different lifecyclesat androidx.lifecycle.LiveData.observe(LiveData.java:199)这是在livedata.observe(this) {// ...}触发…
阅读更多...
Android studio Logcat 新版使用命令指南 常用命令集合

Android studio Logcat 新版使用命令指南 常用命令集合

只过滤自己的包名 package:mine 过滤自己的包名且只看error级别日志 package:mine level:error 指定消息内容包含12288 message:12288 指定内容不包含12288 -message:12288 其中有 message: 、message~、-message和 -message~ -&#xff1a;对当前标签的过滤结果取反…
阅读更多...
智能驾驶 车牌检测和识别（三）《CRNN和LPRNet实现车牌识别（含车牌识别数据集和训练代码）》

智能驾驶 车牌检测和识别（三）《CRNN和LPRNet实现车牌识别（含车牌识别数据集和训练代码）》

智能驾驶 车牌检测和识别&#xff08;三&#xff09;《CRNN和LPRNet实现车牌识别&#xff08;含车牌识别数据集和训练代码&#xff09;》 目录 智能驾驶 车牌检测和识别&#xff08;三&#xff09;《CRNN和LPRNet实现车牌识别&#xff08;含车牌识别数据集和训练代码&#xf…
阅读更多...
2022个人年度总结：拒绝无效努力，实现破圈成长。

2022个人年度总结：拒绝无效努力，实现破圈成长。

在从毕业一直到现在&#xff0c;我都会写一篇关于自己的从技术、商业、人情世故以及未来展望的博文&#xff0c;以至于归纳每个时期的自己&#xff0c; 走在互联网开发的边缘&#xff0c;不得不抽出时间鞭策自己学习新知识&#xff0c;未知的知识是 充满好奇的&#xff0c; 就好…
阅读更多...
第五章 ArcGIS数据编辑

第五章 ArcGIS数据编辑

文章目录第一节 创建新要素方法1 开始编辑、保存编辑、停止编辑2 捕捉的使用3 创建点、线、面4 编辑器中工具的使用5 根据其他要素创建要素6 注记要素编辑和修改第二节 属性编辑常见方法1 属性编辑2 字段计算器3 字段计算器的特殊应用4 计算几何第三节 模版编辑方法1 定义模版2…
阅读更多...
Spring学习笔记（一）【BeanUtils.copyProperties方法】

Spring学习笔记（一）【BeanUtils.copyProperties方法】

Spring下的BeanUtils.copyProperties方法是深拷贝还是浅拷贝&#xff1f; 一、浅拷贝深拷贝的理解 简单地说&#xff0c;拷贝就是将一个类中的属性拷贝到另一个中&#xff0c;对于BeanUtils.copyProperties来说&#xff0c;必须保证属性名和类型是相同的&#xff0c;因为它是根…
阅读更多...
Windows下安装Python和配置easygui

Windows下安装Python和配置easygui

一、需求说明需要学习Python内容&#xff0c;或者是运行Python程序&#xff0c;需要在Windows系统下进行安装配置Python的相关环境&#xff0c;以便让程序能够正常运行使用。二、安装Python2.1、下载Python安装包打开Python官网下载自己Windows系统需要的Python版本选择【Downl…
阅读更多...
大宇无限将全部业务系统都部署在亚马逊云科技上

大宇无限将全部业务系统都部署在亚马逊云科技上

随着移动互联网的高速发展&#xff0c;人们对精神文化内容消费的追求不断提高&#xff0c;利用互联网技术&#xff0c;便捷地享受资讯内容成为了当代人的诉求。为了实现这个目标&#xff0c;大宇无限面临的首要挑战是如何利用大数据系统高效地分析数据、了解用户的消费行为和国…
阅读更多...
1、数据库安装超详细教程（MySql5.0版本）

1、数据库安装超详细教程（MySql5.0版本）

1.1、SQL概述 SQL&#xff0c;一般发音为sequel&#xff0c;SQL的全称Structured Query Language)&#xff0c;SQL用来和数据库打交道&#xff0c;完成和数据库的通信&#xff0c;SQL是一套标准。但是每一个数据库都有自己的特性别的数据库没有,当使用这个数据库特性相关的功能…
阅读更多...
Quarkus入门体验，22ms启动一个Web服务

Quarkus入门体验，22ms启动一个Web服务

简介 Quarkus是类似于Spring Boot的框架&#xff0c;可以方便大家进行Java开发。利用GraalVM的魔力&#xff0c;能更好的适应云原生的场景&#xff0c;极快的启动速度。 创建项目 在IDEA就直接有创建Quarkus项目的初始化工具&#xff0c;直接根据自己需要填好即可&#xff0…
阅读更多...
分享一个可以看历史影像的网站

分享一个可以看历史影像的网站

概述 众所周知&#xff0c;由于某些原因&#xff0c;大家以前经常用的历史地图已经看不了了&#xff0c;那么是否有替代的资源呢&#xff0c;答案是肯定的&#xff0c;而且这个网站的所有者大家都非常的熟悉——Esri&#xff0c;该网站名为World Imagery Wayback&#xff0c;这…
阅读更多...
【模型↔关系思考法】如何在一个全新的、陌生的领域快速成为专家？模仿 + 一万小时定律 + 创新...

【模型↔关系思考法】如何在一个全新的、陌生的领域快速成为专家？模仿 + 一万小时定律 + 创新...

核心基础：形成模型 行业特性，行业名词术语（模型），行业前规则，行业风险 首先搞懂行业内独有的一些专业名词术语（建立“模型”）的含义，这些是基础。 比如餐饮行业的翻台率、开台率，电商的GMV、SKU、SPU； 通过互联网文章，网站，了解行业的趋势和动向、竞品分析等。 了…
阅读更多...
NSS_Round#7部分wp

NSS_Round#7部分wp

Web ec_RCE 源码: <!-- A EZ RCE IN REALWORLD _ FROM CHINA.TW --> <!-- By 探姬 --> <?PHPif(!isset($_POST["action"]) && !isset($_POST["data"]))show_source(__FILE__);putenv(LANGzh_TW.utf8); $action $_POST["a…
阅读更多...
Jenkins入门（二）Jenkins安装及自动构建部署

Jenkins入门（二）Jenkins安装及自动构建部署

一、安装环境 1. 机器要求&#xff1a; 256 MB 内存&#xff0c;建议大于 512 MB 10 GB 的硬盘空间&#xff08;用于 Jenkins 和 Docker 镜像&#xff09; 需要安装以下软件&#xff1a; Java 8 ( JRE 或者 JDK 都可以) 2. 安装JDK 检索可用包 yum search java|grep jd…
阅读更多...
Java之JDBC-ResultSet(结果集)

Java之JDBC-ResultSet(结果集)

之前的dml语句都返回值都是int表示有改动的行数 那么Select可是要展示数据的 SELECT查询的结果 通过这个ResultSet遍历 然后通过next方法来一行行读取数据 类似于迭代器(肯定不是迭代器) 里面还包含获得的数据元素 相当于这个既包含元素&#xff0c;还能迭代自己的元素 具体你…
阅读更多...
[Vulnhub] DC-5

[Vulnhub] DC-5

下载链接&#xff1a;https://download.vulnhub.com/dc/DC-5.zip 同DC-4 这个靶机也是只有一个flag 不过官方描述说这个可能提高了一点点难度 官方描述&#xff1a; 据我所知&#xff0c;只有一个可利用的入口点可以进入&#xff08;也没有 SSH&#xff09;。这个特定的入口点…
阅读更多...
RocketMQ 原理介绍及详细安装教程

RocketMQ 原理介绍及详细安装教程

一、为什么选择RocketMQ Apache RocketMQ 自诞生以来&#xff0c;因其架构简单、业务功能丰富、具备极强可扩展性等特点被众多企业开发者以及云厂商广泛采用。历经十余年的大规模场景打磨&#xff0c;RocketMQ 已经成为业内共识的金融级可靠业务消息首选方案&#xff0c;被广泛…
阅读更多...
python使用pywin32库将ppt导出为高清图片

python使用pywin32库将ppt导出为高清图片

python使用pywin32库将ppt导出为高清图片 作者&#xff1a;虚坏叔叔 博客&#xff1a;https://xuhss.com 早餐店不会开到晚上&#xff0c;想吃的人早就来了&#xff01;&#x1f604; 一、安装库 需要安装pywin32库 pip install pywin32二、代码原理 WPS高清图片导出需要会…
阅读更多...
Fisco Bcos区块链四（WeBase结点前置服务）

Fisco Bcos区块链四（WeBase结点前置服务）

文章目录区块链开荒技术文档&#xff1a;https://fisco-bcos-documentation.readthedocs.io/zh_CN/latest/index.html5、WeBASE节点前置服务1、前提条件2、拉取代码3. 编译代码4. 修改配置&#xff08;1&#xff09;进入dist目录&#xff08;2&#xff09;进入conf目录复制配置…
阅读更多...
一些常见代码如from __future__ import ...的功能

一些常见代码如from __future__ import ...的功能

1. 有一些代码在一开始会通过from __future__ import...导入模块。 __future__是什么&#xff1f; 随着python版本的升级&#xff0c;一些功能也会产生变化&#xff0c;__future__中包括了一些新版本的功能&#xff0c;通过导入__future__中的模块&#xff0c;可以在旧pyth…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023