Canal快速入门

news2024/11/18 21:33:06

Canal

一、Canal 入门

1.1、什么是 Canal

​ 阿里巴巴 B2B 公司，因为业务的特性，卖家主要集中在国内，买家主要集中在国外，所以衍生出了同步杭州和美国异地机房的需求，从 2010 年开始，阿里系公司开始逐步的尝试基于数据库的日志解析，获取增量变更进行同步，由此衍生出了增量订阅&消费的业务。

​ Canal 是用 Java 开发的基于数据库增量日志解析，提供增量数据订阅&消费的中间件。目前。Canal 主要支持了 MySQL 的 Binlog 解析，解析完成后才利用 Canal Client 来处理获得的相关数据。（数据库同步需要阿里的 Otter 中间件，基于 Canal）。

1.2、MySQL 的 Binlog

1.2.1 什么是 Binlog

MySQL 的二进制日志可以说 MySQL 最重要的日志了，它记录了所有的 DDL 和 DML(除了数据查询语句)语句，以事件形式记录，还包含语句所执行的消耗的时间，MySQL 的二进制日志是事务安全型的。

一般来说开启二进制日志大概会有 1%的性能损耗。二进制有两个最重要的使用场景:

  • 其一：MySQL Replication 在 Master 端开启 Binlog，Master 把它的二进制日志传递给 Slaves来达到 Master-Slave 数据一致的目的。

  • 其二：自然就是数据恢复了，通过使用 MySQL Binlog 工具来使恢复数据。

二进制日志包括两类文件：二进制日志索引文件（文件名后缀为.index）用于记录所有的二进制文件，二进制日志文件（文件名后缀为.00000*）记录数据库所有的 DDL 和 DML(除了数据查询语句)语句事件。

1.2.2 Binlog 的分类

​ MySQL Binlog 的格式有三种，分别是 STATEMENT，MIXED，ROW。在配置文件中可以选择配置 binlog_format= statement|mixed|row。三种格式的区别：

1）statement：语句级，binlog 会记录每次一执行写操作的语句。相对 row 模式节省空间，但是可能产生不一致性，比如“update tt set create_date=now()”，如果用 binlog 日志进行恢复，由于执行时间不同可能产生的数据就不同。

  • 优点：节省空间。

  • 缺点：有可能造成数据不一致。

2）row：行级， binlog 会记录每次操作后每行记录的变化。

  • 优点：保持数据的绝对一致性。因为不管 sql 是什么，引用了什么函数，他只记录执行后的效果。

  • 缺点：占用较大空间。

3）mixed：statement 的升级版，一定程度上解决了，因为一些情况而造成的 statement模式不一致问题，默认还是 statement，在某些情况下譬如：当函数中包含 UUID() 时；包含AUTO_INCREMENT 字段的表被更新时；执行 INSERT DELAYED 语句时；用 UDF 时；会按照ROW 的方式进行处理

  • 优点：节省空间，同时兼顾了一定的一致性。

  • 缺点：还有些极个别情况依旧会造成不一致，另外 statement 和 mixed 对于需要对binlog 的监控的情况都不方便。

综合上面对比，Canal 想做监控分析，选择 row 格式比较合适。

1.3、Canal 的工作原理

1.3.1 MySQL 主从复制过程

1）Master 主库将改变记录，写到二进制日志(Binary Log)中；

2）Slave 从库向 MySQL Master 发送 dump 协议，将 Master 主库的 binary log events 拷贝到它的中继日志(relay log)；

3）Slave 从库读取并重做中继日志中的事件，将改变的数据同步到自己的数据库。

在这里插入图片描述

1.3.2 Canal 的工作原理

很简单，就是把自己伪装成 Slave，假装从 Master 复制数据。

1.4 使用场景

1）原始场景： 阿里 Otter 中间件的一部分

Otter 是阿里用于进行异地数据库之间的同步框架，Canal 是其中一部分。

在这里插入图片描述

2）常见场景 1：更新缓存

在这里插入图片描述

3）常见场景 2：抓取业务表的新增变化数据，用于制作实时统计（我们就是这种场景）

二、MySQL 的准备

2.1 创建数据库

在这里插入图片描述

2.2 创建数据表

CREATE TABLE user_info(
    `id` VARCHAR(255),
    `name` VARCHAR(255),
    `sex` VARCHAR(255)
);

2.3 修改配置文件开启 Binlog

[atguigu@hadoop102 module]$ sudo vim /etc/my.cnf
server-id=1
log-bin=mysql-bin
binlog_format=row
binlog-do-db=gmall-2021

注意：binlog-do-db 根据自己的情况进行修改，指定具体要同步的数据库，如果不配置则表示所有数据库均开启 Binlog

2.4 重启 MySQL 使配置生效

sudo systemctl restart mysqld

到/var/lib/mysql 目录下查看初始文件大小 154

[atguigu@hadoop102 lib]$ pwd
/var/lib
[atguigu@hadoop102 lib]$ sudo ls -l mysql
总用量 474152
-rw-r-----. 1 mysql mysql 56 8 月 7 2020 auto.cnf
drwxr-x---. 2 mysql mysql 4096 9 月 25 2020 azkaban
-rw-------. 1 mysql mysql 1680 8 月 7 2020 ca-key.pem
-rw-r--r--. 1 mysql mysql 1112 8 月 7 2020 ca.pem
drwxr-x--- 2 mysql mysql 4096 8 月 18 16:56 cdc_test
-rw-r--r--. 1 mysql mysql 1112 8 月 7 2020 client-cert.pem
-rw-------. 1 mysql mysql 1676 8 月 7 2020 client-key.pem
drwxr-x---. 2 mysql mysql 4096 9 月 25 2020 gmall_report
-rw-r----- 1 mysql mysql 1085 12 月 1 09:12 ib_buffer_pool
-rw-r-----. 1 mysql mysql 79691776 12 月 13 08:45 ibdata1
-rw-r-----. 1 mysql mysql 50331648 12 月 13 08:45 ib_logfile0
-rw-r-----. 1 mysql mysql 50331648 12 月 13 08:45 ib_logfile1
-rw-r----- 1 mysql mysql 12582912 12 月 13 08:45 ibtmp1
drwxr-x--- 2 mysql mysql 4096 9 月 22 15:30 maxwell
drwxr-x---. 2 mysql mysql 4096 8 月 12 2020 metastore
drwxr-x---. 2 mysql mysql 4096 9 月 22 15:43 mysql
-rw-r-----. 1 mysql mysql 154 12 月 13 08:45 mysql-bin.000001
-rw-r----- 1 mysql mysql 19 12 月 13 08:45 mysql-bin.index
srwxrwxrwx 1 mysql mysql 0 12 月 13 08:45 mysql.sock
-rw------- 1 mysql mysql 5 12 月 13 08:45 mysql.sock.lock
drwxr-x---. 2 mysql mysql 4096 8 月 7 2020 performance_schema
-rw-------. 1 mysql mysql 1680 8 月 7 2020 private_key.pem
-rw-r--r--. 1 mysql mysql 452 8 月 7 2020 public_key.pem
-rw-r--r--. 1 mysql mysql 1112 8 月 7 2020 server-cert.pem
-rw-------. 1 mysql mysql 1680 8 月 7 2020 server-key.pem
drwxr-x---. 2 mysql mysql 12288 8 月 7 2020 sys
drwxr-x--- 2 mysql mysql 4096 2 月 2 2021 test
[atguigu@hadoop102 lib]$

2.5 测试 Binlog 是否开启

1）插入数据

INSERT INTO user_info VALUES('1001','zhangsan','male');

2）再次到/var/lib/mysql 目录下，查看 index 文件的大小

[atguigu@hadoop102 lib]$ sudo ls -l mysql
总用量 474152
-rw-r-----. 1 mysql mysql 56 8 月 7 2020 auto.cnf
drwxr-x---. 2 mysql mysql 4096 9 月 25 2020 azkaban
-rw-------. 1 mysql mysql 1680 8 月 7 2020 ca-key.pem
-rw-r--r--. 1 mysql mysql 1112 8 月 7 2020 ca.pem
drwxr-x--- 2 mysql mysql 4096 8 月 18 16:56 cdc_test
-rw-r--r--. 1 mysql mysql 1112 8 月 7 2020 client-cert.pem
-rw-------. 1 mysql mysql 1676 8 月 7 2020 client-key.pem
drwxr-x---. 2 mysql mysql 4096 9 月 25 2020 gmall_report
-rw-r----- 1 mysql mysql 1085 12 月 1 09:12 ib_buffer_pool
-rw-r-----. 1 mysql mysql 79691776 12 月 13 08:45 ibdata1
-rw-r-----. 1 mysql mysql 50331648 12 月 13 08:45 ib_logfile0
-rw-r-----. 1 mysql mysql 50331648 12 月 13 08:45 ib_logfile1
-rw-r----- 1 mysql mysql 12582912 12 月 13 08:45 ibtmp1
drwxr-x--- 2 mysql mysql 4096 9 月 22 15:30 maxwell
drwxr-x---. 2 mysql mysql 4096 8 月 12 2020 metastore
drwxr-x---. 2 mysql mysql 4096 9 月 22 15:43 mysql
-rw-r-----. 1 mysql mysql 452 12 月 13 08:45 mysql-bin.000001
-rw-r----- 1 mysql mysql 19 12 月 13 08:45 mysql-bin.index
srwxrwxrwx 1 mysql mysql 0 12 月 13 08:45 mysql.sock
-rw------- 1 mysql mysql 5 12 月 13 08:45 mysql.sock.lock
drwxr-x---. 2 mysql mysql 4096 8 月 7 2020 performance_schema
-rw-------. 1 mysql mysql 1680 8 月 7 2020 private_key.pem
-rw-r--r--. 1 mysql mysql 452 8 月 7 2020 public_key.pem
-rw-r--r--. 1 mysql mysql 1112 8 月 7 2020 server-cert.pem
-rw-------. 1 mysql mysql 1680 8 月 7 2020 server-key.pem
drwxr-x---. 2 mysql mysql 12288 8 月 7 2020 sys
drwxr-x--- 2 mysql mysql 4096 2 月 2 2021 test
[atguigu@hadoop102 lib]$

2.6 赋权限

在 MySQL 中执行

mysql> set global validate_password_length=4;
mysql> set global validate_password_policy=0;
mysql> GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%' IDENTIFIED BY 'canal' ;

三、Canal 的下载和安装

3.1 下载并解压 Jar 包

https://github.com/alibaba/canal/releases

我们直接下的 canal.deployer-1.1.2.tar.gz 拷贝到/opt/sortware 目录下，然后解压到/opt/module/canal 包下

注意：canal 解压后是分散的，我们在指定解压目录的时候需要将 canal 指定上

[atguigu@hadoop102 software]$ mkdir /opt/module/canal
[atguigu@hadoop102 software]$ tar -zxvf canal.deployer-1.1.2.tar.gz -C /opt/module/canal

3.2 修改 canal.properties 的配置

[atguigu@hadoop102 conf]$ pwd
/opt/module/canal/conf
[atguigu@hadoop102 conf]$ vim canal.properties

#################################################
#########      common argument    #############
#################################################
canal.id = 1
canal.ip =
canal.port = 11111
canal.metrics.pull.port = 11112
canal.zkServers =
# flush data to zk
canal.zookeeper.flush.period = 1000
canal.withoutNetty = false
# tcp, kafka, RocketMQ
canal.serverMode = tcp
# flush meta cursor/parse position to file

说明：这个文件是 canal 的基本通用配置，canal 端口号默认就是 11111，修改 canal 的输出 model，默认 tcp，改为输出到 kafka

多实例配置如果创建多个实例，通过前面 canal 架构，我们可以知道，一个 canal 服务中可以有多个 instance，conf/下的每一个example 即是一个实例，每个实例下面都有独立的配置文件。默认只有一个实例 example，如果需要多个实例处理不同的 MySQL 数据的话，直接拷贝出多个 example，并对其重新命名，命名和配置文件中指定的名称一致，然后修改canal.properties 中的 canal.destinations=实例 1，实例 2，实例 3。

#################################################
#########
destinations
#############
#################################################
canal.destinations = example

3.3 修改 instance.properties

我们这里只读取一个 MySQL 数据，所以只有一个实例，这个实例的配置文件在conf/example 目录下

[atguigu@hadoop102 example]$ pwd
/opt/module/canal/conf/example
[atguigu@hadoop102 example]$ vim instance.properties

1）配置 MySQL 服务器地址

#################################################
## mysql serverId , v1.0.26+ will autoGen
canal.instance.mysql.slaveId=20
# enable gtid use true/false
canal.instance.gtidon=false
# position info
canal.instance.master.address=hadoop102:3306

2）配置连接 MySQL 的用户名和密码，默认就是我们前面授权的 canal

# username/password
canal.instance.dbUsername=canal
canal.instance.dbPassword=canal
canal.instance.connectionCharset = UTF-8
canal.instance.defaultDatabaseName =test
# enable druid Decrypt database password
canal.instance.enableDruid=false

四、实时监控测试

4.1 TCP 模式测试

4.1.1 创建 gmall-canal 项目

在这里插入图片描述

在这里插入图片描述

4.1.2 在 gmall-canal 模块中配置 pom.xml

<dependencies>
    <dependency>
        <groupId>com.alibaba.otter</groupId>
        <artifactId>canal.client</artifactId>
        <version>1.1.2</version>
    </dependency>
    <dependency>
        <groupId>org.apache.kafka</groupId>
        <artifactId>kafka-clients</artifactId>
        <version>2.4.1</version>
    </dependency>
</dependencies>

4.1.3 通用监视类 –CanalClient

1）Canal 封装的数据结构

在这里插入图片描述

2）在 gmall-canal 模块下创建 com.atguigu.app 包，并在包下创建 CanalClient（java 代码）

代码如下：

import com.alibaba.fastjson.JSONObject;
import com.alibaba.otter.canal.client.CanalConnector;
import com.alibaba.otter.canal.client.CanalConnectors;
import com.alibaba.otter.canal.protocol.CanalEntry;
import com.alibaba.otter.canal.protocol.Message;
import com.atguigu.constants.GmallConstants;
import com.atguigu.utils.MyKafkaSender;
import com.google.protobuf.ByteString;
import com.google.protobuf.InvalidProtocolBufferException;
import java.net.InetSocketAddress;
import java.util.List;
import java.util.Random;

public class CanalClient {
    public static void main(String[] args) throws InvalidProtocolBufferException {
        //1.获取 canal 连接对象
        CanalConnector canalConnector = CanalConnectors.newSingleConnector(new InetSocketAddress("hadoop102", 11111), "example", "", "");
        while (true) {
            //2.获取连接
            canalConnector.connect();
            //3.指定要监控的数据库
            canalConnector.subscribe("gmall.*");
            //4.获取 Message
            Message message = canalConnector.get(100);
            List<CanalEntry.Entry> entries = message.getEntries();
            if (entries.size() <= 0) {
                System.out.println("没有数据，休息一会");
                try {
                    Thread.sleep(1000);
                } catch (InterruptedException e) {
                    e.printStackTrace();
                }
            } else {
                for (CanalEntry.Entry entry : entries) {
                    //1. 获取表名
                    String tableName = entry.getHeader().getTableName();
                    // 2. Entry 类型
                    CanalEntry.EntryType entryType = entry.getEntryType();
                    // 3. 判断 entryType 是否为 ROWDATA
                    if(CanalEntry.EntryType.ROWDATA.equals(entryType)) {
                        // 4. 序列化数据
                        ByteString storeValue = entry.getStoreValue();
                        // 5. 反序列化
                        CanalEntry.RowChange rowChange = CanalEntry.RowChange.parseFrom(storeValue);
                        // 6. 获取事件类型
                        CanalEntry.EventType eventType = rowChange.getEventType();
                        // 7. 获取具体的数据
                        List<CanalEntry.RowData> rowDatasList = rowChange.getRowDatasList();
                        // 8. 遍历并打印数据
                        for (CanalEntry.RowData rowData : rowDatasList){
                            List<CanalEntry.Column> beforeColumnsList = rowData.getBeforeColumnsList();
                            JSONObject beforeData = new JSONObject();
                            for(CanalEntry.Column column:beforeColumnsList) {
                                beforeData.put(column.getName(), column.getValue());
                            }

                            JSONObject afterData = new JSONObject();
                            List<CanalEntry.Column> afterColumnsList = rowData.getAfterColumnsList();
                            for(CanalEntry.Column column : afterColumnsList) {
                                afterData.put(column.getName(), column.getValue());
                            }
                            System.out.println("TableName:" + tableName +
                                               ",EventType:" + eventType +
                                               ",Before:" + beforeData +
                                               ",After:" + afterData);
                        }
                    }
                }
            }
        }
    }
}

4.2 Kafka 模式测试

1）修改 canal.properties 中 canal 的输出 model，默认 tcp，改为输出到 kafka

#################################################
#########
common argument
#############
#################################################
canal.id = 1
canal.ip =
canal.port = 11111
canal.metrics.pull.port = 11112
canal.zkServers =
# flush data to zk
canal.zookeeper.flush.period = 1000
canal.withoutNetty = false
# tcp, kafka, RocketMQ
canal.serverMode = kafka
# flush meta cursor/parse position to file

2）修改 Kafka 集群的地址

##################################################
#########
MQ
#############
##################################################
canal.mq.servers = hadoop102:9092,hadoop103:9092,hadoop104:9092

3）修改 instance.properties 输出到 Kafka 的主题以及分区数

# mq config
canal.mq.topic=canal_test
canal.mq.partitionsNum=1
# hash partition config
# canal.mq.partition=0
# canal.mq.partitionHash=mytest.person:id,mytest.role:id

注意：默认还是输出到指定 Kafka 主题的一个 kafka 分区，因为多个分区并行可能会打乱 binlog 的 顺 序 ， 如 果 要 提 高 并 行 度 ， 首 先 设 置 kafka 的 分 区 数 >1, 然 后 设 置canal.mq.partitionHash 属性

4）启动 Canal

[atguigu@hadoop102 example]$ cd /opt/module/canal/
[atguigu@hadoop102 canal]$ bin/startup.sh

5）看到 CanalLauncher 你表示启动成功，同时会创建 canal_test 主题

[atguigu@hadoop102 canal]$ jps
2269 Jps
2253 CanalLauncher
[atguigu@hadoop102 canal]$

6）启动 Kafka 消费客户端测试，查看消费情况

[atguigu@hadoop102 kafka]$ bin/kafka-console-consumer.sh --bootstrap-server hadoop102:9092 --topic canal_test

7）向 MySQL 中插入数据后查看消费者控制台

插入数据

INSERT INTO user_info VALUES('1001','zhangsan','male'),('1002','lisi','female');

Kafka 消费者控制台

{
    "data": [
        {
            "id": "1001",
            "name": "zhangsan",
            "sex": "male"
        },
        {
            "id": "1002",
            "name": "lisi",
            "sex": "female"
        }
    ],
    "database": "gmall-2021",
    "es": 1639360729000,
    "id": 1,
    "isDdl": false,
    "mysqlType": {
        "id": "varchar(255)",
        "name": "varchar(255)",
        "sex": "varchar(255)"
    },
    "old": null,
    "sql": "",
    "sqlType": {
        "id": 12,
        "name": 12,
        "sex": 12
    },
    "table": "user_info",
    "ts": 1639361038454,
    "type": "INSERT"
}

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/183874.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

PaddleSeg图像分割预测pyinstaller打包报错:No module named ‘framework_pb2‘，问题解决

PaddleSeg图像分割预测pyinstaller打包报错:No module named ‘framework_pb2‘，问题解决

报错 在使用PaddlePaddle的FastDeploy部署图像分割时&#xff0c;需要验证目标电脑环境&#xff0c;所以先将预测代码predict.py用pyinstaller打包来试试&#xff0c;指令&#xff1a; pyinstaller -D predict.py 打包完成&#xff0c;成功生成exe 运行时报错如下&#xff1a;…
阅读更多...
项目五linux 内网完整渗透测试实例笔记

项目五linux 内网完整渗透测试实例笔记

1.DDD4 靶场介绍本靶场存在三个 flag 把下载到的虚拟机环境导入到虚拟机&#xff0c;本靶场需要把网络环境配置好。1.1.网络示意图2. 信息收集2.1.主机发现sudo netdiscover -i eth0 -r 192.168.1.0/242.2.nmap 主机发现nmap -sn 192.168.1.0/242.3.masscan 端口探测sudo massc…
阅读更多...
Python批量改文件名

Python批量改文件名

对以下路径中的文件名批量修改。 一、读取指定路径中的文件名 #导入标准库 import os#读取文件名 filesDir "路径……" fileNameList os.listdir(filesDir)#输出路径中的所有文件 for filename in fileNameList:print(filename)二、正则表达式提取需要保留的部分 …
阅读更多...
[Vulnhub] DC-6

[Vulnhub] DC-6

下载链接&#xff1a;https://download.vulnhub.com/dc/DC-6.zip 知识点&#xff1a; wordpress-getshellnc反弹shell横向越权nmap提权 目录 <1> 信息搜集 <2> wordpress_Activity monitor插件rce漏洞getshell <3> Privilege Escalation&#xff08;nm…
阅读更多...
windows上安装hadoop

windows上安装hadoop

下载与安装 hadoop下载官网 清华大学镜像下载 进入官网点击Binary download是运行在windows上的。在Apache里面下东西经常会有binary和source的版本&#xff0c;binary是编译好的可以直接使用&#xff0c;source是还没编译过的源代码&#xff0c;需要自行编译。 镜像下载 选…
阅读更多...
OSERDESE3与ODELAYE3原语

OSERDESE3与ODELAYE3原语

SelectIO 接口 UltraScale 架构的器件 包括三种I/O&#xff1a;高性能(HP), 高密度 (HD),和高量程(HR) I/O banks 。 HP I/O banks满足高速存储和片到片接口性能要求&#xff0c;电压最高1.8V。HR I/O banks支持更大范围电压&#xff0c;电压最高3.3V。HD I/O banks支持低速接…
阅读更多...
Day872.事务间是否需要隔离 -MySQL实战

Day872.事务间是否需要隔离 -MySQL实战

事务间是否需要隔离 Hi&#xff0c;我是阿昌&#xff0c;今天学习记录的是关于事务间是否需要隔离的内容。 创建的视图是静态视图&#xff0c;当前视图对应的数据由字段的当前值加上回滚段计算得到。 事务隔离级别 的时候提到过&#xff0c;如果是可重复读隔离级别&#xff…
阅读更多...
1457. 二叉树中的伪回文路径

1457. 二叉树中的伪回文路径

1457. 二叉树中的伪回文路径题目算法设计&#xff1a;深度优先搜索题目 传送门&#xff1a;https://leetcode.cn/problems/pseudo-palindromic-paths-in-a-binary-tree/ 算法设计&#xff1a;深度优先搜索 如何判断一组数字是否存在一个回文串组合&#xff1f; 如 [1, 2, 1]…
阅读更多...
css元素显示模式（行内、块级、行内块）

css元素显示模式（行内、块级、行内块）

1.块级元素 显示特点&#xff1a; 1、独占一行&#xff08;一行只能显示一个&#xff09; 2、宽度默认是父元素的宽度&#xff0c;高度默认由内容撑开 3、可以设置宽高 代表标签&#xff1a; div、p、h系列、ul、li、dl、dt、dd、form、header、anv、footer <style>div…
阅读更多...
电脑数据怎么迁移？6种旧电脑数据传输到新电脑方法分享

电脑数据怎么迁移？6种旧电脑数据传输到新电脑方法分享

如今&#xff0c;我们拥有如此多的设备&#xff0c;从一个设备跳到另一个设备似乎是一项艰巨的任务。平均而言&#xff0c;一个人可能拥有一台电脑、一部智能手机和一台平板电脑。但是&#xff0c;如果您有多台计算机或要换一台新计算机怎么办&#xff1f;您可能在互联网上问过…
阅读更多...
电脑录像软件推荐？分享3款，简单好用且方便

电脑录像软件推荐？分享3款，简单好用且方便

​在日常生活中&#xff0c;我们经常会遇到临时有事情需要外出处理的时候&#xff0c;但在如果正好在上网课或者开会议、听讲座的时候&#xff0c;这时候外出很容易会错过一些重要的内容。这个时候&#xff0c;就需要借助电脑录像软件了。电脑录像软件推荐什么&#xff1f;今天…
阅读更多...
Docker consul

Docker consul

目录 一、Docker consul简介 二、Consul优势 三、Consul中的概念 四、部署 1、consul服务器配置 2、查看集群信息 3、在浏览器上进到consul的界面进行管理 4、容器服务自动注册到consul集群 5、consul节点配置nginx 6、配置模板信息 7、配置并启动consul-template …
阅读更多...
Java创建pdf的代码

Java创建pdf的代码

一、概述 以下代码可以在指定文件夹内创建一个简历pdf。 以下代码生成pdf&#xff0c;主要是设置cell所占的行、列、内容。 二、代码 1.需要的jar包 itext-asian-5.2.0.jar itextpdf-5.5.5.jar2.个人信息类MsgUtil.java 这个类里面放了个人信息&#xff1b;也可以放多个人…
阅读更多...
Python量化投资——股票择时到底能否赚钱？TA-Lib中33种技术指标有效性回测研究

Python量化投资——股票择时到底能否赚钱？TA-Lib中33种技术指标有效性回测研究

TA-Lib中33种技术指标回测研究Python量化投资——TA-Lib中33种股票择时技术指标的有效性研究为什么要做这个评测技术指标清单评测方法评测工具期待你的意见Python量化投资——TA-Lib中33种股票择时技术指标的有效性研究 为什么要做这个评测 技术指标是股票交易中最常用的技术…
阅读更多...
CSS 常见布局

CSS 常见布局

文章目录CSS 常见布局单列布局单列布局&#xff08;不通栏&#xff09;单列布局&#xff08;通栏&#xff09;双列布局floatoverflow:hiddenflexgridCSS 常见布局 单列布局 单列布局&#xff08;不通栏&#xff09; <!DOCTYPE html> <html><head><meta …
阅读更多...
推荐系统之推荐中心逻辑

推荐系统之推荐中心逻辑

5.5 推荐中心逻辑 学习目标 目标 无应用 无 5.5.1 推荐中心作用 推荐中一般作为整体召回结果读取与排序模型进行排序过程的作用&#xff0c;主要是产生推荐结果的部分。 5.5.2 推荐目录 server目录为整个推荐中心建立的目录 recall_service.:召回数据读取目录reco_centor:推…
阅读更多...
如何利用 Selenium 对已打开的浏览器进行爬虫！

如何利用 Selenium 对已打开的浏览器进行爬虫！

大家好&#xff0c;我是安果&#xff01;在对某些网站进行爬虫时&#xff0c;如果该网站做了限制&#xff0c;必须完成登录才能展示数据&#xff0c;而且只能通过短信验证码才能登录这时候&#xff0c;我们可以通过一个已经开启的浏览器完成登录&#xff0c;然后利用程序继续操…
阅读更多...
STM32—超声波测距

STM32—超声波测距

超声波简介 超声波测距模块是用来测量距离的一种产品&#xff0c;通过发送和收超声波&#xff0c;利用时间差和声音传播速度&#xff0c; 计算出模块到前方障碍物的距离。 型号&#xff1a;HC-SR04 时序图 怎么让它发送波 Trig触发信号&#xff0c;给Trig端口至少10us的高电平…
阅读更多...
“华为杯”研究生数学建模竞赛2005年-【华为杯】A题：城市交通管理中的出租车规划（附获奖论文）

“华为杯”研究生数学建模竞赛2005年-【华为杯】A题：城市交通管理中的出租车规划（附获奖论文）

赛题描述 A: Highway Traveling time Estimate and Optimal Routing Ⅰ Highway traveling time estimate is crucial to travelers. Hence, detectors are mounted on some of the US highways. For instance, detectors are mounted on every two-way six-lane highways o…
阅读更多...
Postman使用详解

Postman使用详解

一、常见类型的接口请求查询参数接口接口地址中&#xff0c;&#xff1f;问号后面的部分&#xff0c;即查询参数&#xff1b;该部分内容由键值对组成&#xff0c;有多个时&#xff0c;用&符号分隔。请求方法&#xff1a;GET表单类型接口1&#xff09;HTTP请求&#xff0c;一…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023