MGR新节点RECOVERING状态的分析与解决：caching_sha2_password验证插件的影响

news2024/11/23 7:14:57

起因

在GreatSQL社区上有一位用户提出了“手工构建MGR碰到的次节点一直处于recovering状态”，经过排查后，发现了是因为新密码验证插件caching_sha2_password导致的从节点一直无法连接主节点，帖子地址：(https://greatsql.cn/thread-420-2-1.html)）

复现

环境介绍

本文验证环境，以及本文所采用数据库为GreatSQL 8.0.32-24

$ cat /etc/system-release
Red Hat Enterprise Linux Server release 7.9 (Maipo)
$ uname -a
Linux gip 3.10.0-1160.el7.x86_64 #1 SMP Tue Aug 18 14:50:17 EDT 2020 x86_64 x86_64 x86_64 GNU/Linux

部署准备：

采用的是单机多实例的部署方式，如何部署单机多实例可以前往(https://gitee.com/GreatSQL/GreatSQL-Manual/blob/master/6-oper-guide/6-6-multi-instances.md)

IP端口角色
172.17.139.773306mgr01
172.17.139.773307mgr02

MGR有关配置参数：

#mgr settings
loose-plugin_load_add = 'mysql_clone.so'
loose-plugin_load_add = 'group_replication.so'
loose-group_replication_group_name = "aaaaaaaa-aaaa-aaaa-aaaa-aaaaaaaaaaa1"
loose-group_replication_group_seeds = '172.17.139.77:33061,172.17.139.77:33071'
loose-group_replication_start_on_boot = ON
loose-group_replication_bootstrap_group = OFF
loose-group_replication_exit_state_action = READ_ONLY
loose-group_replication_flow_control_mode = "DISABLED"
loose-group_replication_single_primary_mode = ON
loose-group_replication_communication_max_message_size = 10M
loose-group_replication_transaction_size_limit = 3G
loose-group_replication_arbitrator = 0
loose-group_replication_single_primary_fast_mode = 0
loose-group_replication_request_time_threshold = 20000
report_host = "172.17.139.77"

MGR01节点配置如下：

[mysqld@mgr01]
datadir=/data/GreatSQL/mgr01
socket=/data/GreatSQL/mgr01/mysql.sock
port=3306
server_id=103306
log-error=/data/GreatSQL/mgr01/error.log
loose-group_replication_local_address= "172.17.139.77:33061"

MGR02节点配置如下：

[mysqld@mgr02]
datadir=/data/GreatSQL/mgr02
socket=/data/GreatSQL/mgr02/mysql.sock
port=3307
server_id=103317
log-error=/data/GreatSQL/mgr02/error.log
loose-group_replication_local_address= "172.17.139.77:33071"

启动MGR01实例、MGR02实例，并修改密码

#启动两个实例
$ systemctl restart greatsql@mgr01 &
$ systemctl restart greatsql@mgr02 &
#获取初始化密码
$ grep root /data/GreatSQL/mgr01/error.log
$ grep root /data/GreatSQL/mgr02/error.log
#登录数据库并修改密码
$ mysql -S /data/GreatSQL/mgr01/mysql.sock -uroot -p
greatsql> alter user root@'localhost' identified by 'GreatSQL@666';
$ mysql -S /data/GreatSQL/mgr02/mysql.sock -uroot -p
greatsql> alter user root@'localhost' identified by 'GreatSQL@666';

检查两个实例是否正确加载group_replicaiton 插件

greatsql> show plugins;
+----------------------------------+----------+--------------------+----------------------+---------+
| Name                             | Status   | Type               | Library              | License |
+----------------------------------+----------+--------------------+----------------------+---------+
| group_replication                | ACTIVE   | GROUP REPLICATION  | group_replication.so | GPL     |
+----------------------------------+----------+--------------------+----------------------+---------+

没有加载的话可以手动加载这个plugin

greatsql> install plugin group_replication soname 'group_replication.so';

搭建MGR

接下来就可以手工搭建MGR，流程如下可参考安装部署MGR集群 | 深入浅出MGR(https://gitee.com/GreatSQL/GreatSQL-Doc/blob/master/deep-dive-mgr/deep-dive-mgr-03.md)）

MGR01实例操作：

greatsql> set session sql_log_bin=0;
# 特别注意下面因为8.0.4版本开始使用的默认是“caching_sha2_password”，所以这样创建会采用最新的身份认证插件
greatsql> create user repl@'%' identified by 'GreatSQL@666';
greatsql> GRANT BACKUP_ADMIN, REPLICATION SLAVE ON *.* TO `repl`@`%`;
greatsql> set session sql_log_bin=1;
greatsql> CHANGE MASTER TO MASTER_USER='repl', MASTER_PASSWORD='GreatSQL@666' FOR CHANNEL 'group_replication_recovery';

接下来即可启动MGR集群：

greatsql> set global group_replication_bootstrap_group=ON;

greatsql> start group_replication;

greatsql> select * from performance_schema.replication_group_members\G
*************************** 1. row ***************************
              CHANNEL_NAME: group_replication_applier
                 MEMBER_ID: 2920447e-35bf-11ee-89a5-00163e566da1
               MEMBER_HOST: 172.17.139.77
               MEMBER_PORT: 3306
              MEMBER_STATE: ONLINE
               MEMBER_ROLE: PRIMARY
            MEMBER_VERSION: 8.0.32
MEMBER_COMMUNICATION_STACK: XCom

MGR02实例操作：

greatsql> set session sql_log_bin=0;
greatsql> create user repl@'%' identified by 'GreatSQL@666';
greatsql> GRANT BACKUP_ADMIN, REPLICATION SLAVE ON *.* TO `repl`@`%`;
greatsql> set session sql_log_bin=1;
greatsql> CHANGE MASTER TO MASTER_USER='repl', MASTER_PASSWORD='GreatSQL@666' FOR CHANNEL 'group_replication_recovery';
greatsql> start group_replication;
Query OK, 0 rows affected (5.39 sec)

此时创建的用户采用的都是caching_sha2_password身份认证插件

greatsql> SELECT USER,PLUGIN FROM mysql.`user` ;
+------------------+-----------------------+
| USER             | PLUGIN                |
+------------------+-----------------------+
| repl             | caching_sha2_password |
| mysql.infoschema | caching_sha2_password |
| mysql.session    | caching_sha2_password |
| mysql.sys        | caching_sha2_password |
| root             | caching_sha2_password |
+------------------+-----------------------+

虽然启动MGR成功，但是查看下节点状态：

greatsql> select * from performance_schema.replication_group_members\G
*************************** 1. row ***************************
              CHANNEL_NAME: group_replication_applier
                 MEMBER_ID: 2920447e-35bf-11ee-89a5-00163e566da1
               MEMBER_HOST: 172.17.139.77
               MEMBER_PORT: 3306
              MEMBER_STATE: ONLINE
               MEMBER_ROLE: PRIMARY
            MEMBER_VERSION: 8.0.32
MEMBER_COMMUNICATION_STACK: XCom
*************************** 2. row ***************************
              CHANNEL_NAME: group_replication_applier
                 MEMBER_ID: 2a4f068b-35bf-11ee-9504-00163e566da1
               MEMBER_HOST: 172.17.139.77
               MEMBER_PORT: 3307
              MEMBER_STATE: RECOVERING
               MEMBER_ROLE: SECONDARY
            MEMBER_VERSION: 8.0.32
MEMBER_COMMUNICATION_STACK: XCom
2 rows in set (0.00 sec)

此时节点一直处于RECOVERING状态，查看mgr02实例的错误日志如下：

2023-08-08T08:00:47.034870Z 42 [ERROR] [MY-010584] [Repl] Slave I/O for channel 'group_replication_recovery': error connecting to master 'repl@172.17.139.77:3306' - retry-time: 60 retries: 1 message: Authentication plugin 'caching_sha2_password' reported error: Authentication requires secure connection. Error_code: MY-002061
2023-08-08T08:00:47.037631Z 35 [ERROR] [MY-011582] [Repl] Plugin group_replication reported: 'There was an error when connecting to the donor server. Please check that group_replication_recovery channel credentials and all MEMBER_HOST column values of performance_schema.replication_group_members table are correct and DNS resolvable.'
2023-08-08T08:00:47.037671Z 35 [ERROR] [MY-011583] [Repl] Plugin group_replication reported: 'For details please check performance_schema.replication_connection_status table and error log messages of Slave I/O for channel group_replication_recovery.'

这是由于caching_sha2_password 是 MySQL 8.0.4 引入的一个新的身份验证插件，caching_sha2_password 对密码安全性要求更高，要求用户认证过程中在网络传输的密码是加密的，所以导致的这个问题的出现，caching_sha2_password的介绍可以看社区文章“浅谈 MySQL 新的身份验证插件 caching_sha2_password【微信导入、微信导入】”

解决方式

1、采用旧密码验证插件

旧的身份验证插件mysql_native_password，mysql_native_password的特点是不需要加密的连接。该插件验证速度特别快，但是不够安全，只需要更改创建用户的语句

create user repl@'%' identified with mysql_native_password by 'GreatSQL@666';

旧密码验证插件容易被破解，如果有 GreatSQL 服务要公网上使用，建议还是尽量使用 caching_sha2_password作为认证插件

2、启用group_replication_recovery_get_public_key

设置 group_replication_recovery_get_public_key=ON 可以确保从节点在连接到主节点时能够获取所需的公钥，从而允许安全连接并成功进行身份验证，避免了连接错误和身份验证问题。

手册中也有明确说明：

18.6.3.1.1 Replication User With The Caching SHA-2 Authentication Plugin
By default, users created in MySQL 8 use Section 6.4.1.2, “Caching SHA-2 Pluggable Authentication”. If the replication user you configure for distributed recovery uses the caching SHA-2 authentication plugin, and you are not using SSL for distributed recovery connections, RSA key-pairs are used for password exchange. For more information on RSA key-pairs, see Section 6.3.3, “Creating SSL and RSA Certificates and Keys”.

In this situation, you can either copy the public key of the to the joining member, or configure the donors to provide the public key when requested. The more secure approach is to copy the public key of the replication user account to the joining member. Then you need to configure the group_replication_recovery_public_key_path system variable on the joining member with the path to the public key for the replication user account. rpl_user

The less secure approach is to set group_replication_recovery_get_public_key=ON on donors so that they provide the public key of the replication user account to joining members. There is no way to verify the identity of a server, therefore only set group_replication_recovery_get_public_key=ON when you are sure there is no risk of server identity being compromised, for example by a man-in-the-middle attack.

可以看到，当确认环境安全以及没人任何人攻击集群时，如果不配置ssl，可以最低配置group_replication_recovery_get_public_key=ON来在请求复制用户密钥时给公钥

3、为组复制通道启用SSL支持

以下操作方法仅使用于 GreatSQL/MySQL 8.0.27版本及以上

更安全的方法是将repl用户所需的公钥文件复制到joiner节点的Server所在主机中。然后，在joiner节点的Server中配置group_replication_recovery_public_key_path系统变量，指定rpl_user用户所需的公钥文件路径。

使用caching_sha2_password 插件身份验证会在数据目录下生成如下两个RSA文件：

private_key.pem
public_key.pem
  • private_key.pem：RSA私钥
  • public_key.pem： RSA公钥

对于 MGR ，如果设置 group_replication_ssl_mode=DISABLED 必须使用下面的变量来指定 RSA 公钥，否则报错：

  • group_replication_recovery_get_public_key ：向服务端请求 RSA 公钥；
  • group_replication_recovery_public_key_path ：指定本地 RSA 公钥文件；

指定本地RSA公钥，首先需要全局MGR配置开启SSL

[mysqld]
#开启use_ssl，指定组成员之间的组复制分布式恢复连接是否应使用 SSL
loose-group_replication_recovery_use_ssl=ON

进入MGR01实例配置

greatsql> set session sql_log_bin=0;
# 此时就可以使用“caching_sha2_password”身份认证插件
greatsql> create user repl@'%' identified by 'GreatSQL@666';
greatsql> GRANT BACKUP_ADMIN, REPLICATION SLAVE ON *.* TO `repl`@`%`;
greatsql> set session sql_log_bin=1;
greatsql> CHANGE MASTER TO MASTER_USER='repl', MASTER_PASSWORD='GreatSQL@666' FOR CHANNEL 'group_replication_recovery';

启动MGR01实例的MGR集群

greatsql> set global group_replication_bootstrap_group=ON;
greatsql> start group_replication;
greatsql> select * from performance_schema.replication_group_members\G
*************************** 1. row ***************************
              CHANNEL_NAME: group_replication_applier
                 MEMBER_ID: 35b653d2-3658-11ee-93c9-00163e566da1
               MEMBER_HOST: 172.17.139.77
               MEMBER_PORT: 3306
              MEMBER_STATE: ONLINE
               MEMBER_ROLE: PRIMARY
            MEMBER_VERSION: 8.0.32
MEMBER_COMMUNICATION_STACK: XCom

启动成功后，需要把MGR01节点的RSA公钥拷贝到MGR02节点上,因为MGR02也会生成此公钥，所以最好创建一个文件夹

$ mkdir mgr01_key
$ chown mysql:mysql mgr01_key/
# 将public_key.pem移动到MGR02
$ mv /data/GreatSQL/mgr01/public_key.pem /data/GreatSQL/mgr02/mgr01_key/

当然，如果有多个节点，也需要把主节点的RSA公钥移动到各个节点上

MGR02节点操作

greatsql> set session sql_log_bin=0;
greatsql> create user repl@'%' identified by 'GreatSQL@666';
greatsql> GRANT BACKUP_ADMIN, REPLICATION SLAVE ON *.* TO `repl`@`%`;
greatsql> set session sql_log_bin=1;
greatsql> CHANGE MASTER TO MASTER_USER='repl', MASTER_PASSWORD='GreatSQL@666' FOR CHANNEL 'group_replication_recovery';

# 此命令设置完成后，最好写进my.cnf文件中持久化
greatsql> set global group_replication_recovery_public_key_path = "/data/GreatSQL/mgr02/mgr01key/public_key.pem";

greatsql> start group_replication;
greatsql> select * from performance_schema.replication_group_members\G
*************************** 1. row ***************************
              CHANNEL_NAME: group_replication_applier
                 MEMBER_ID: 35b653d2-3658-11ee-93c9-00163e566da1
               MEMBER_HOST: 172.17.139.77
               MEMBER_PORT: 3306
              MEMBER_STATE: ONLINE
               MEMBER_ROLE: PRIMARY
            MEMBER_VERSION: 8.0.32
MEMBER_COMMUNICATION_STACK: XCom
*************************** 2. row ***************************
              CHANNEL_NAME: group_replication_applier
                 MEMBER_ID: aa031fb9-365a-11ee-9925-00163e566da1
               MEMBER_HOST: 172.17.139.77
               MEMBER_PORT: 3307
              MEMBER_STATE: ONLINE
               MEMBER_ROLE: SECONDARY
            MEMBER_VERSION: 8.0.32
MEMBER_COMMUNICATION_STACK: XCom

可以看到双节点ONLINE，新加入的节点不会一直是RECOVERING状态

总结

新身份验证插件caching_sha2_password安全度相比其他的身份验证插件，既解决安全性问题又解决性能问题，建议使用新密码验证插件。

也感谢社区用户指出GreatSQL社区文档中的不足，并给予用户金币奖励，同时欢迎大家来GreatSQL社区捉虫~

Enjoy GreatSQL :)

关于 GreatSQL

GreatSQL是适用于金融级应用的国内自主开源数据库，具备高性能、高可靠、高易用性、高安全等多个核心特性，可以作为MySQL或Percona Server的可选替换，用于线上生产环境，且完全免费并兼容MySQL或Percona Server。

相关链接： GreatSQL社区 Gitee GitHub Bilibili

GreatSQL社区：

image

社区有奖建议反馈： https://greatsql.cn/thread-54-1-1.html

社区博客有奖征稿详情： https://greatsql.cn/thread-100-1-1.html

（对文章有疑问或者有独到见解都可以去社区官网提出或分享哦~）

技术交流群：

微信&QQ群：

QQ群：533341697

微信群：添加GreatSQL社区助手（微信号：wanlidbc ）好友，待社区助手拉您进群。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1006122.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

基于Android系统图书管理系统

基于Android系统图书管理系统

摘要 随着移动终端使用率的快速增加，Android智能产品已日益成为越来越多的人们选择的移动终端产品。伴随着Android智能手机与平板电脑已经在我们生活大量的使用，越来越多的基于Android开发平台的应用也随之产生。 便捷的图书检索和借阅：用户可…
阅读更多...
Java“牵手”京东商品列表页数据采集+商品价格数据排序，商品销量排序数据，京东商品API采集方法

Java“牵手”京东商品列表页数据采集+商品价格数据排序，商品销量排序数据，京东商品API采集方法

京东商品列表API是京东平台提供给开发者的应用程序编程接口，通过API可以获取京东平台上商品列表数据。 京东商品列表API可以提供多种不同的推荐商品列表API接口，开发者可以根据自己的需求选择适合自己的接口。其中，最常用的是基于用户反馈的…
阅读更多...
项目经理如何做好跨部门的沟通与协作？

项目经理如何做好跨部门的沟通与协作？

对项目经理来说沟通不良，会对项目造成严重影响，跨部门沟通更是项目管理中的难题。原本应该合作解决的问题，到了跨部门会议上，又各说各话，找不到共识。 在不同部门各有不同立场与利益的情况下，怎样才能把话…
阅读更多...
Open Interpreter：OpenAI Code Interpreter的开源实现｜本地化｜可联网

Open Interpreter：OpenAI Code Interpreter的开源实现｜本地化｜可联网

如果你对这篇文章感兴趣，而且你想要了解更多关于AI领域的实战技巧，可以关注「技术狂潮AI」公众号。在这里，你可以看到最新最热的AIGC领域的干货文章和案例实战教程。 一、前言 今年7月，OpenAI发布了一个强大的插件，名…
阅读更多...
什么是第三方软件测试？

什么是第三方软件测试？

测试机构 什么是软件测试？ 软件测试是一个验证和验证应用程序功能以确定它是否满足要求的过程。这是在应用程序中发现缺陷并根据*终用户的要求检查应用程序功能的过程。 第三方软件检测机构是专门提供软件测试服务，其出具软件测试报告过程中可能运用到…
阅读更多...
Object.keys和Object.values

Object.keys和Object.values

Object.keys list:[],obj:{数据泄露: 5412, 数据传输: 3921, 数据篡改: 851392, 数据滥用: 59532 },//返回可枚举的属性数组console.log(Object.keys(this.obj)) // [数据泄露, 数据传输, 数据篡改, 数据滥用]Object.keys(this.obj).map(key>{this.list.push({title:key,val…
阅读更多...
Java工作流系统，快速实现业务审批（源码）

Java工作流系统，快速实现业务审批（源码）

前言 activiti工作流引擎项目，企业erp、oa、hr、crm等企事业办公系统轻松落地，请假审批demo从流程绘制到审批结束实例。 一、项目形式 springbootvueactiviti集成了activiti在线编辑器，流行的前后端分离部署开发模式，快速开发平…
阅读更多...
700亿参数Llama 2训练加速195%！数据成为其提升效果的关键要素

700亿参数Llama 2训练加速195%！数据成为其提升效果的关键要素

Llama 2是Meta AI正式发布的最新一代开源大模型，达到了2万亿的token。精调Chat模型是在100万人类标注数据上训练。Llama 2在包括推理、编码、精通性和知识测试等许多外部基准测试中都优于其他开源语言模型。 Llama 2开启了全球范围内AI大型模型的共享新篇章。它包括…
阅读更多...
第5章_freeRTOS入门与工程实践之模块使用说明与STM32CubeMX配置

第5章_freeRTOS入门与工程实践之模块使用说明与STM32CubeMX配置

本教程基于韦东山百问网出的 DShanMCU-F103开发板 进行编写，需要的同学可以在这里获取： https://item.taobao.com/item.htm?id724601559592 配套资料获取：https://rtos.100ask.net/zh/freeRTOS/DShanMCU-F103 freeRTOS系列教程之freeRTOS入…
阅读更多...
进销存仓库管理系统有哪些？哪些适合商户用？

进销存仓库管理系统有哪些？哪些适合商户用？

进销存仓库管理系统可以帮助商家实现准确的库存控制、优化采购和销售活动，提升仓库操作效率，并提供数据分析和决策支持，从而解决企业在库存管理和供应链方面的问题，提升整体运营效率和竞争力。 进销存仓库管理系统有哪些&#xf…
阅读更多...
SmartSQL 一款开源的数据库文档管理工具

SmartSQL 一款开源的数据库文档管理工具

建议直接蓝奏云下载安装 蓝奏云下载：https://wwoc.lanzoum.com/b04dpvcxe 蓝奏云密码：123 项目介绍 SmartSQL 是一款方便、快捷的数据库文档查询、导出工具！从最初仅支持 数据库、CHM文档格式开始，通过不断地探索开发、集思广…
阅读更多...
LVGL(72)-v8--滑块slider

LVGL(72)-v8--滑块slider

一、slider 简介 1.1 概述 Overview Slider对象看起来像一个带有旋钮的工具条。可以拖动该旋钮来设置一个值。滑块也可以是垂直的或水平的。滑动条在前面我们介绍img控件的时候有个历程有使用到，哪里我们讲述设置样式实现对滑动条的一些样式的设置。 1.2 部分和风…
阅读更多...
如果是你，会不会修改这段代码？

如果是你，会不会修改这段代码？

最近在合流一些功能&#xff0c;然后有一部分功能的代码需要重构。 需要重构的代码如下&#xff0c;没有重构之前是可以正确执行的。 unsigned int Hex2Int (char c) {if (c > 0 && c < 9) {return (unsigned int) (c - 0);} else {return (unsigned int)(c - a1…
阅读更多...
excel 单元格内多行文本的行数量统计

excel 单元格内多行文本的行数量统计

excel公式&#xff1a; LEN(H2)-LEN(SUBSTITUTE(H2,CHAR(10),))1
阅读更多...
js中如何获取当前页面的URL参数值？

js中如何获取当前页面的URL参数值？

聚沙成塔每天进步一点点 ⭐ 专栏简介⭐ 获取当前页面的URL参数值⭐ 解析查询字符串⭐ 使用正则表达式解析参数值⭐ 写在最后 ⭐ 专栏简介 前端入门之旅&#xff1a;探索Web开发的奇妙世界 记得点击上方或者右侧链接订阅本专栏哦 几何带你启航前端之旅 欢迎来到前端入门之旅&am…
阅读更多...
Clion的使用和配置

Clion的使用和配置

工欲善其事必先利其器&#xff0c;开发C好用的IDE必须要配置好&#xff0c;下面我们简单介绍一下现代化的编译工具Clion Clion安装 Ubuntu 一般来说在官网下载好后&#xff0c;解压到文件夹会有一个Install-Linux-tar.txt&#xff0c;按照这个教程安装就行 Clion配置 增加…
阅读更多...
stable diffused快速入门

stable diffused快速入门

一、下载安装 1&#xff0c;网盘n519 2&#xff0c;环境依赖和模型整合包必须下载&#xff0c;各种风格的模型可选 3&#xff0c;解压模型整合包 4&#xff0c;双击启动器运行依赖这个可执行文件&#xff0c;安装一些环境&#xff0c;直接下一步即可 二、启动 1&#xff0…
阅读更多...
PMP与ACP的区别是什么？

PMP与ACP的区别是什么？

首先&#xff0c;我们需要了解PMP和ACP的定义。如果你正在犹豫是否应该考取PMP或ACP证书&#xff0c;或者想知道这两种证书的区别和哪一个更有用&#xff0c;那么请继续阅读。 1. PMP是指项目管理专业人士认证&#xff0c;全称为Project Management Professional。在许多企业&a…
阅读更多...
【算法与数据结构】701、LeetCode二叉搜索树中的插入操作

【算法与数据结构】701、LeetCode二叉搜索树中的插入操作

文章目录 一、题目二、解法三、完整代码 所有的LeetCode题解索引&#xff0c;可以看这篇文章——【算法和数据结构】LeetCode题解。 一、题目 二、解法 思路分析&#xff1a;这道题关键在于分析插入值的位置&#xff0c;不论插入的值是什么&#xff08;插入值和原有树中的键值都…
阅读更多...
python实现数据的脱敏

python实现数据的脱敏

背景 上一篇文章讲到了《一个注解&#xff0c;实现数据脱敏》&#xff0c;其实用起来还是相当的方便。那shigen是一个喜欢倒腾的人&#xff0c;对于python的接口&#xff0c;如何实现数据的脱敏呢&#xff1f;我找了很久的教程&#xff0c;发现关于这部分的资料并不多&#xf…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023