一、背景与介绍
Golang的database/sql包定了关于操作数据库的相关接口，但是没有去做对应数据库的实现。这些实现是预留给开发者或者对应厂商进行实现的。
其中让我比较关注的是Golang的sql包有没有实现连接池pool的机制呢? 毕竟Golang是静态语言，类似Java我们看到很多连接池的实现例如阿里巴巴的Apache druid。给开发者提供了一个高效的数据库连接池，提高应用的性能，连接池保持与后端数据库的长连接，在需要的时候直接使用即可。使用完毕后，将连接归还到连接池中。 并且还提供可视化界面，查看连接池的运行情况、连接数情况、活跃数、空闲数等等。
我们通过源码可以发现，Golang底层的sql包是实现了数据库连接池的逻辑。但是Golang的连接池，都是隐式/惰性使用，只有在执行到查询SQL或者执行SQL的时候，才从pool中拿到连接进行执行， 不会像Java一样显式使用，需要从pool中拿到连接对象，再通过这个连接对象执行SQL.
二、GORM配置prometheus
1、对接Prometheus的目的
GORM支持配置Promtehues的export, 这样我们再结合Grafana面板就能很直观地对Go程序的SQL连接池进行监控。
可以监控到当前连接池的连接数有没有超过最大连接数、空闲连接数等等，由此来保证我们程序的正常运行。
一般我们的Go项目都使用到GROM， 既然GORM实现了Prometheus的export，那么就使用内置功能进行测试。 其实我们也可以自己实现这个exporter， 通过DB对象的Stats()方法，返回连接池统计数据，再封装为exporter接口暴露出来即可。 
2、开启Promtheus exporter
db.go测试代码:
package db
import (
"gorm.io/driver/mysql"
"gorm.io/gorm"
"gorm.io/gorm/logger"
"gorm.io/plugin/prometheus"
"log"
"os"
"sync"
"time"
)
var db *gorm.DB
var once sync.Once
var getDbConnErr error
var dsn = "root:root@tcp(127.0.0.1:3307)/test?charset=utf8mb4&parseTime=True&loc=Local"
// GetDbConn 获取mysql连接
func GetDbConn() *gorm.DB {
once.Do(func() {
logfile, _ := os.OpenFile("./sql.log", os.O_CREATE|os.O_APPEND|os.O_RDWR, 0666)
newLogger := logger.New(log.New(logfile, "\r\n", log.LstdFlags), logger.Config{
SlowThreshold: time.Second,
LogLevel: logger.Info,
})
db, getDbConnErr = gorm.Open(mysql.Open(dsn), &gorm.Config{
Logger: newLogger,
})
if getDbConnErr != nil {
panic(getDbConnErr)
}
db.Use(prometheus.New(prometheus.Config{
DBName: "db1", // 使用 `DBName` 作为指标 label
RefreshInterval: 15, // 指标刷新频率（默认为 15 秒）
PushAddr: "prometheus pusher address", // 如果配置了 `PushAddr`，则推送指标
StartServer: true, // 启用一个 http 服务来暴露指标
HTTPServerPort: 8080, // 配置 http 服务监听端口，默认端口为 8080 （如果您配置了多个，只有第一个 `HTTPServerPort` 会被使用）
MetricsCollector: []prometheus.MetricsCollector{
&prometheus.MySQL{
Prefix: "gorm_mysql_stats_",
Interval: 15,
VariableNames: []string{"Threads_running"},
},
}, // 用户自定义指标
}))
DB, _ := db.DB()
// 最大连接数
DB.SetMaxOpenConns(2)
// 最大空闲连接数 <= 最大连接数
DB.SetMaxIdleConns(1)
// 连接数的生命周期, 从创建开始记时，到时间点会被销毁
DB.SetConnMaxLifetime(time.Hour * 7)
// 最大空闲时间, 这个链接距离上一次被使用的时间段，超过这个时间则认为该连接已过期
DB.SetConnMaxIdleTime(time.Hour)
})
return db
}
main.go测试代码:
package main
import (
db "awesomeProject1/db"
"fmt"
_ "gorm.io/driver/mysql"
"gorm.io/gorm"
"math/rand"
"time"
)
func main() {
dbConn := db.GetDbConn()
for i := 0; i < 10; i++ {
go func(conn *gorm.DB) {
for {
time.Sleep(time.Second * time.Duration(rand.Intn(10)))
rows := dbConn.Raw("select * from users")
var res []map[string]interface{}
fmt.Println(rows.Scan(&res))
}
}(dbConn)
}
for {
time.Sleep(time.Second * 2)
fmt.Println("running....")
}
}
访问http://localhost:8080/metrics 查看到指标数据:
3、采集metrics到Promtehus
promethues.yaml配置添加采集任务:
4、Grafana配置监控面板
1、通过图表能看到，我们配置了连接池最大连接数是2个, 但是有10个协程去执行查询SQL,观察wait_count指标曲线在持续上涨, 此时有26个协程还在阻塞等待获取数据库连接，同时查看右边是等待获取数据库连接等待耗时曲线，也是一直在上涨，此时我们应该判定数据库连接池满了。那么例如生产环境，看到这种曲线要么我们设置的连接池最大连接数过小，要么mysql的连接数已经跑满了。 此时应该告警，查看异常的情况。
2、我们将最大连接数调整为20以后再观察监控面板:
最大连接数已从2调整为20(2->20), 此时再看监控面板， 等待的协程数量wait_count:0、同时协程等待获取数据库连接的时间已经降为了0ns, 此时数据库连接池不再是爆满的状态。
三、总结
无论Golang的什么ORM框架，GORM也好、XORM也罢， 底层还是去使用了database/sql这个包，这个包底层实现了连接池的抽象，同时提供了获取连接池相关统计信息的接口。 我们再结合Prometheus将这些指标暴露出来，结合Grafana这套告警体系，就可以实时监控和观察我们Go程序MySQL连接池的情况。
