合纵连横 – 以 Flink 和 Amazon MSK 构建 Amazon DocumentDB 之间的实时数据同步

news2024/11/16 2:16:03

794a3e1d0ceef91f1d97391bb3d7e9f4.gif

在大数据时代，实时数据同步已经有很多地方应用，包括从在线数据库构建实时数据仓库，跨区域数据复制。行业落地场景众多，例如，电商 GMV 数据实时统计，用户行为分析，广告投放效果实时追踪，社交媒体舆情分析，跨区域用户管理。亚马逊云科技提供了从数据库到分析，以及机器学习的全流程方案。

有几种数据同步方式可以考虑：

Amazon Zero-ETL

ETL 是将业务系统的数据经过提取（Extract）、转换清洗（Transform）和加载（Load）到数据仓库、大数据平台的过程。借助 Zero-ETL ，数据库本身集成 ETL 到数据仓库的功能，减少在不同服务间手动迁移或转换数据的工作。

Amazon Database Migration Service（DMS）

DMS 可以迁移关系数据库、数据仓库、NoSQL 数据库及其他类型的数据存储，支持同构或者异构数据库和数据仓库的数据转换。

Flink + Kafka

Flink 作为开源实时计算引擎，支持包括各种关系数据库、NoSQL 数据库和数据仓库的多种数据源和下游连接，加上 Kafka 消息管道作为上下游解耦，可以满足各种场景和压力的数据同步需求。

其他开源方案：Debezium，Canal

如何选择合适的数据同步方案？

1. 工具对于数据源和目标端的支持。

Amazon Zero-ETL 目前正式支持从 Amazon Aurora MySQL 到 Amazon Redshift，其他的正在预览的数据源包括 Amazon Aurora PostgreSQL，Amazon RDS MySQL 和 Amazon DynamoDB。目标端现在支持 Aurora MySQL 到 Amazon Redshift，以及 Amazon DynamoDB 到 Amazon Opensearch，正在预览功能是从 Amazon DynamoDB 到 Amazon Redshift。相对来说，DMS 和 Flink 方案支持的数据更加广泛，常见的 JDBC 关系型数据库和 MongoDB 等 NoSQL 数据库都支持，并且还支持 Kafka 和 Kinesis 等消息管道。

下图列出了 Flink 支持的上下游数据：

831946a0d368925512e090c027b34698.png

2. 架构稳定性，可以长期在生产环境运行，有高可用和故障恢复机制。

Amazon Zero-ETL 是托管服务功能，无需管理。DMS 也可以使用高可用配置。Flink 可以运行在 Amazon EMR 托管服务之上，节点和任务调度都有高可用保障。

3. 数据转换能力。Amazon Zero-ETL 支持特定的数据源和目标，源和目标数据一致，不能在 ETL 过程中转换数据或者实时 JOIN 等操作。DMS 只支持小部分数据类型和列的过滤，其他功能还未解锁。Flink 实时计算引擎本身就有强大的数据转换能力，实时聚合查询等能力也更加丰富。

4. 实时性。Amazon Zero-ETL 可以实现秒级别的同步延迟。DMS 可以通过 batch apply 或者提高任务并发度实现更高实时性。Flink 本身就能处理大量实时计算，加上 Kafka 解耦，能满足各种压力下的高实时性。

5. 复杂度。Amazon Zero-ETL 只需要在支持的数据库 Integration 功能即可创建实时 ETL 管道，无需其他组件，操作最简单。DMS 创建复制实例，设置源和目标，以及优化任务参数，相对略微复杂。Flink 基于开源技术，需要创建 EMR 和 MSK Kafka 服务，运行多个 Flink 任务，以构建进出的数据管道，更灵活的数据转换还需要编写程序，相对最复杂。

6. 成本。Amazon Zero-ETL 功能本身不收费，只收取因为 ETL 而产生额外的 IO 和存储费用。DMS 收取复制实例的费用。Flink 架构最为复杂，EMR 和 Kafka 集群高可用，各需要 3 个以上节点，相对成本最高。

以下是三种方案的简单对比。

677a05098be0952242ee277d6075c6ed.png

客户根据自己的业务需求，选择合适的方案。

  • 大数据运维力量比较薄弱，而且业务数据源和目标都支持，可以选择 Amazon Zero-ETL。

  • 数据源和目标不在 Amazon Zero-ETL 支持范围，或者中国和海外跨区域复制，不想构建复杂的管道，选择 DMS。

  • 有比较强的运维和开发能力，需要高性能和数据转换能力，选择 Flink。

除了实时数据仓库之外，有些客户需要实现中国和海外的数据库同步。Amazon 原生的服务只支持除了中国之外其他区域之间的同步，由于 Amazon Zero-ETL 对于区域和服务的限制，此时可以考虑 DMS 或者 Flink 方案。DMS 由单独的实例来进行数据中转，配置简单。但是如果数据库写入压力很高的时候，DMS 可能处理能力受限，造成源和目标端数据延迟增加，实时性受到影响。此时可以使用 Flink 方案，提供更高的处理能力。

Amazon DocumentDB（与 MongoDB 兼容）广泛应用于游戏、广告、电商、媒体、金融、物联网等行业场景，也可以实时数据同步到数据仓库。

以下方案介绍了如何通过 EMR Flink 和 Kafka，构建跨区域 Amazon DocumentDB 之间的实时数据同步。Flink 支持传统 SQL 和 DataStream 编程接口。本方案中使用 Flink SQL，无需编写代码。

整体架构如下：

a051f7a71fc8b1d8f5ebf8ef6be4115c.png

此方案中，首先需要打通中国到海外的网络，例如专线或者 SD-WAN。这样使数据传输更加安全，而且 DocumentDB 只支持内网访问。数据源和目标都是 DocumentDB，之间使用 EMR Flink，以 Flink Mongodb CDC Connector 把源 DocumentDB 的数据拉取过来，以 Kafka connector 打入 MSK Kafka 消息队列，下游 EMR Flink 拉取 Kafka 消息，然后通过 Mongodb connector 写入目标 DocumentDB。MSK Kafka 起到解耦作用，避免上下游数据进出速度不同的问题。EMR 可以使用两个单独的集群，如果单集群性能足够，也可以只使用一个集群，分别运行上下游不同的 Flink 任务。

在 Flink Kafka connector 的选择上，分 Kafka 和 Upsert Kafka 两种。Kafka Connector 从 Kafka topic 中消费和写入数据，通过 CDC 工具从其他数据库捕获的变更事件，使用 CDC 格式将消息解析为 Flink SQL INSERT，UPDATE，DELETE 消息，支持 CDC 格式包括：debezium，canal，maxwell。

示例：

CREATE TABLE behavior_kafka_sink (...)
WITH ( 'connector' = 'kafka',...  'format' = ‘debezium-json');

b90450af8c500e140448a1521447eccd.png

Upsert Kafka Connector 作为 sink，消费 changelog 流，将 INSERT/UPDATE_AFTER 数据作为正常的 Kafka 消息写入，将 DELETE 数据以 value 为空的 Kafka 消息写入（表示对应 key 的消息被删除）。

CREATE TABLE behavior_kafka_sink (...)
WITH ( 'connector' = ‘upsert-kafka',... 'key.format' = 'json', 'value.format' = 'json');

7de7efcd835ee1ba71d842308ab1d191.png

删除操作时，Upsert Kafka 产生 null 消息，下游无法处理。而 Kafka Connector 使用 debezium CDC 格式获取前后变化，下游可以处理 Upsert 数据。

本方案中使用 Kafka Connector 以及 debezium json 格式。

Flink CDC mongodb connector 对 SSL 支持不足，本方案中禁用 DocumentDB SSL。另外，由于 DocumentDB 分片模式不支持 Change Stream，无法读取 CDC 变化数据，请选择实例模式。

下面进入实战演示，此演示中没有真正创建中国到海外区域的专线，而是使用跨区域 VPC peering 作为替代。

功能测试

环境

源 DocumentDB：us-west-2 区域，5.0.0 版本，实例模式，1 写，1读，r6g.xlarge，禁用 SSL，开启 Chang Stream

目标 DocumentDB：us-east-1 区域，5.0.0 版本，实例模式，1 写，1 读，r6g.xlarge，禁用 SSL

EMR：6.10.0，Flink 1.16.0，1 主节点，2 核心节点，m6g.xlarge

MSK Kafka 3.5.1，3 节点，m7g.large，为方便禁用验证

准备工作

登录 EMR 主节点，下载 flink jar 包并复制到/usr/lib/flink/lib 目录，用户和组都更改为 flink。需要 flink jar 包如下：

flink-connector-jdbc-1.16.2.jar
flink-sql-connector-kafka-1.16.1.jar
flink-sql-connector-mongodb-cdc-2.3.0.jar
flink-sql-connector-mongodb-1.0.1-1.16.jar

创建 DocumentDB collection，并打开 Change Stream

mongosh --host ping.cluster-cubokui4azxq.us-west-2.docdb.amazonaws.com:27017 --username user --password xxxxxxxx --retryWrites=false


use inventory
db.adminCommand({ modifyChangeStreams: 1, database: "inventory", collection: "", enable: true });

插入数据

rs0 [direct: primary] inventory> db.products.insertMany(
    [
        {
            "Item": "Pen",
            "Colors": ["Red","Green","Blue","Black"],
            "Inventory": {
                "OnHand": 244,
                "MinOnHand": 72 
            }
        },
        {
            "Item": "Poster Paint",
            "Colors": ["Red","Green","Blue","Black","White"],
            "Inventory": {
                "OnHand": 47,
                "MinOnHand": 50 
            }
        },
        {
            "Item": "Spray Paint",
            "Colors": ["Black","Red","Green","Blue"],
            "Inventory": {
                "OnHand": 47,
                "MinOnHand": 50,
                "OrderQnty": 36
            }
        }    
    ]
)

登录 EMR 主节点，创建 Kafka topic。Kafka 在分区内有顺序，简单起见设置分区数为 1

cd kafka_2.13-2.8.1/bin
./kafka-topics.sh --bootstrap-server b-2.ping.uaramp.c22.kafka.us-east-1.amazonaws.com:9092,b-3.ping.uaramp.c22.kafka.us-east-1.amazonaws.com:9092,b-1.ping.uaramp.c22.kafka.us-east-1.amazonaws.com:9092 --replication-factor 3 --partitions 1 --create --topic mongo-kafka

查看 kafka 消息

./kafka-console-consumer.sh --bootstrap-server b-2.ping.uaramp.c22.kafka.us-east-1.amazonaws.com:9092,b-3.ping.uaramp.c22.kafka.us-east-1.amazonaws.com:9092,b-1.ping.uaramp.c22.kafka.us-east-1.amazonaws.com:9092 --topic mongo-kafka --from-beginning

创建 Flink 任务

cd /usr/lib/flink/bin
./yarn-session.sh -d -s 1 -jm 1024 -tm 2048 -nm flink-cdc
yarn application -list

运行 Flink SQL 客户端

$ ./sql-client.sh embedded -s flink-cdc

设置 checkpoint

SET execution.checkpointing.interval = 3s;

创建 Flink DocumentDB 源表，使用 mongodb cdc connector。主键必须设置。Flink SQL 不支持 MongoDB JSON 对象类型，以 STRING 替代

CREATE TABLE mongo_products (
  _id STRING, 
  Item STRING,
  Colors STRING, 
  Inventory STRING, 
  PRIMARY KEY(_id) NOT ENFORCED
) WITH (
  'connector' = 'mongodb-cdc',
  'hosts' = 'ping.cluster-cubokui4azxq.us-west-2.docdb.amazonaws.com:27017',
  'username' = 'user',
  'password' = 'password',
  'database' = 'inventory',
  'collection' = 'products'
);

创建 Flink Kafka 表，使用 kafka connector，debezium json 格式

CREATE TABLE mongo_kafka (
  _id STRING, 
  Item STRING,
  Colors STRING, 
  Inventory STRING, 
  PRIMARY KEY(_id) NOT ENFORCED
) 
WITH (
'connector' = 'kafka',
 'topic' = 'mongo-kafka',
 'properties.bootstrap.servers' = 'b-2.ping.uaramp.c22.kafka.us-east-1.amazonaws.com:9092,b-3.ping.uaramp.c22.kafka.us-east-1.amazonaws.com:9092,b-1.ping.uaramp.c22.kafka.us-east-1.amazonaws.com:9092',
 'properties.group.id' = 'mongo-kafka-group',
 'scan.startup.mode' = 'earliest-offset',
 'format' = 'debezium-json'
);

读取 DocumentDB 数据，写入 Kafka

insert into mongo_kafka SELECT * FROM mongo_products;

创建下游 sink 表，从 kafka 读取消息，更新到目标 DocomentDB

CREATE TABLE mongo_sink (
  _id STRING, 
  Item STRING,
  Colors STRING, 
  Inventory STRING, 
  PRIMARY KEY(_id) NOT ENFORCED
) 
WITH (
  'connector' = 'mongodb',
  'uri' = 'mongodb://milan:password@ping5.cluster-c7b8fns5un9o.us-east-1.docdb.amazonaws.com:27017/?replicaSet=rs0&readPreference=secondaryPreferred&retryWrites=false',
  'database' = 'inventory',
  'collection' = 'products'
);


insert into mongo_sink SELECT * FROM mongo_kafka;

在另外一个窗口运行 kafka 消费程序，可以看到有 DocumentDB 数据写入

$ ./kafka-console-consumer.sh --bootstrap-server b-2.ping.uaramp.c22.kafka.us-east-1.amazonaws.com:9092,b-3.ping.uaramp.c22.kafka.us-east-1.amazonaws.com:9092,b-1.ping.uaramp.c22.kafka.us-east-1.amazonaws.com:9092 --topic mongo-kafka --from-beginning
{"before":null,"after":{"_id":"65976a473f3a210c022ffc55","Item":"Pen","Colors":"[\"Red\", \"Green\", \"Blue\", \"Black\"]","Inventory":"{\"OnHand\": 244, \"MinOnHand\": 72}"},"op":"c"}
{"before":null,"after":{"_id":"65976a473f3a210c022ffc56","Item":"Poster Paint","Colors":"[\"Red\", \"Green\", \"Blue\", \"Black\", \"White\"]","Inventory":"{\"OnHand\": 47, \"MinOnHand\": 50}"},"op":"c"}
{"before":null,"after":{"_id":"65976a473f3a210c022ffc57","Item":"Spray Paint","Colors":"[\"Black\", \"Red\", \"Green\", \"Blue\"]","Inventory":"{\"OnHand\": 47, \"MinOnHand\": 50, \"OrderQnty\": 36}"},"op":"c"}

登录目标 DocumentDB，可以看到目标数据库成功从 kafka 导入数据

mongosh --host ping5.cluster-c7b8fns5un9o.us-east-1.docdb.amazonaws.com:27017 --username milan --password xxxx --retryWrites=false




rs0 [direct: primary] inventory> db.products.find()
[
  {
    _id: ObjectId('65976a473f3a210c022ffc55'),
    Colors: '["Red", "Green", "Blue", "Black"]',
    Inventory: '{"OnHand": 244, "MinOnHand": 72}',
    Item: 'Pen'
  },
  {
    _id: ObjectId('65976a473f3a210c022ffc56'),
    Colors: '["Red", "Green", "Blue", "Black", "White"]',
    Inventory: '{"OnHand": 47, "MinOnHand": 50}',
    Item: 'Poster Paint'
  },
  {
    _id: ObjectId('65976a473f3a210c022ffc57'),
    Colors: '["Black", "Red", "Green", "Blue"]',
    Inventory: '{"OnHand": 47, "MinOnHand": 50, "OrderQnty": 36}',
    Item: 'Spray Paint'
  }
]

在源数据库进行插入、更新、删除，变化数据都可以很快同步到目标数据库，以 Flink 和 Kafka 构建跨区域 DocomentDB 复制成功。

目前 Flink mongodb cdc connector 还不支持 DDL 操作，例如 drop()，可以观察到 Flink 任务中，DocumentDB 到 kafka 任务失败。

高可用测试

EMR 的框架可以实现高可用机制，主节点可以使用 3 个节点高可用，多个核心和任务节点，结合调度机制，也能实现节点和任务的高可用。Flink 有 checkpoint 机制，可以设置为本地目录或者 S3，周期性产生数据快照用于恢复，如果任务失败会一直重试，直到超过最大重试次数。默认配置下，模拟节点故障，重启某个核心节点。此时无论是否启用 Flink checkpoint，重启任务所在节点都会造成任务中断。解决办法，EMR Configuration 加入 Flink 高可用配置。

[
  {
    "Classification": "yarn-site",
    "Properties": {
      "yarn.resourcemanager.am.max-attempts": "10"
    }
  },
  {
    "Classification": "flink-conf",
    "Properties": {
      "high-availability": "zookeeper",
      "high-availability.storageDir": "hdfs:///user/flink/recovery",
      "high-availability.zookeeper.path.root": "/flink",
      "high-availability.zookeeper.quorum": "%{hiera('hadoop::zk')}",
      "yarn.application-attempts": "10"
    }
  }
]

重启 EMR 核心节点，Flink 任务重新初始化，任务继续运行，实现高可用，适合长期运行 CDC 任务。

性能测试

以上验证了复制功能和高可用性，如果源数据库写请求很高，也需要注意性能是否可以满足要求。此性能测试中，向源数据库快速插入 1000 万条数据，采用批量提交以提高写入性能，实际写入性能约 1 万条/秒。目标端如果不做任何设置，写入性能大约 600 条/秒，与源端写入性能有较大差距。通过 Flink UI 和日志，以及组件分开验证，分析性能瓶颈位于 Flink 读取 kafka 之后写入目标 DocumentDB 的 sink 部分。可适当提高 Kafka 分区数以提高总体性能。实测 4 个分区，目标端可以达到 1400 条/秒。

Kafka 只在单个分区内有序，在多个分区时无序，要注意不同分区之间的顺序，特别是 Update 操作。可以使用 Flink watermark 机制，在设定的时间段内，到达水位线的操作都可以被合并处理，以此来保证多分区下的消息顺序。

测试环境

客户端 EC2：Amazon Linux 2，python2，r6i.xlarge

数据库 DocumentDB 同功能测试，跨区域，源 us-west-2，目标 us-east-1

编写源数据库写入程序，参考：

https://github.com/milan9527/documentdb/blob/main/docdb-flink-insert.py

源 DocumentDB 开启 change stream

db.adminCommand({modifyChangeStreams: 1,
    database: "test",
    collection: "", 
enable: true});

写入测试数据，10M 行

python3 docdb-flink-insert.py

创建 4 个分区的 kafka topic

./kafka-topics.sh --bootstrap-server b-2.pingaws.ecxlst.c22.kafka.us-east-1.amazonaws.com:9092,b-3.pingaws.ecxlst.c22.kafka.us-east-1.amazonaws.com:9092,b-1.pingaws.ecxlst.c22.kafka.us-east-1.amazonaws.com:9092 --replication-factor 3 --partitions 4 --create --topic docdb-bench

修改 EMR Flink Configuration 并行度 parallelism=4

f12d2e5660dadfaed78a51adca030011.png

提交 Flink 任务，使用 2 slot，状态存储于 rocksdb，checkpoint 位于 S3。测试中 checkpoint 无论使用 S3还是 hdfs，性能相差不大，这和变化的数据有关，以实际测试为参考。

flink-yarn-session -d -jm 2048 -tm 4096 -s 2 \
-D state.backend=rocksdb \
-D state.backend.incremental=true \
-D state.checkpoint-storage=filesystem \
-D state.checkpoints.dir=s3://milan9527/flink/flink-checkponts/ \
-D state.checkpoints.num-retained=10 \
-D execution.checkpointing.interval=10s \
-D execution.checkpointing.mode=EXACTLY_ONCE \
-D execution.checkpointing.externalized-checkpoint-retention=RETAIN_ON_CANCELLATION \
-D execution.checkpointing.max-concurrent-checkpoints=1

Flink SQL 建表和插入语句，参考之前功能测试部分，修改相应表和 Kafka 名字。

kafka 分区 = 4，flink 并行度设置为 4，slot = 2，此时每个 task 都能并行处理 kafka 消息，大幅提高 sink 写入性能。每秒从 600 提升到 1400 左右，可以满足普通请求量的需求。

以下 Flink Web UI 显示，4 个子任务能同时处理数据，提高性能。

4d70d07db8b6a28748a670880489dbf4.png

以下信息显示，Kafka 里的多个分区消息被同时处理，虽然存在滞后，但是已经比单分区性能提高很多。

$ ./kafka-consumer-groups.sh --bootstrap-server b-1.pingaws.ecxlst.c22.kafka.us-east-1.amazonaws.com:9092,b-2.pingaws.ecxlst.c22.kafka.us-east-1.amazonaws.com:9092,b-3.pingaws.ecxlst.c22.kafka.us-east-1.amazonaws.com:9092 --describe --group 'docdb-kafka-group'

a60576b6616f16788ec85fb7f5ff8b81.png

Flink Kafka 任务 watermark 显示水位线数据

8e170a9504fe5d3b9f3b432430ecff8d.png

性能观察

Flink 方案可以在源 DocumentDB 数据库在普通请求量下（几千 QPS 以下），近似实时同步到目标 DocumentDB。如果需要提高目标数据库写入性能，可以调整 Kafka 分区数量，以及 Flink 并行度，结合 Flink watermark 机制实现有序写入。

方案总结

通过 Flink 和 Kafka，可以构建跨区域 DocumentDB 之间实时数据同步。各个组件都可以实现高可用，总体方案可以稳定运行。依靠 Flink 实时计算引擎，和 Kafka 的海量消息处理能力，即使在高业务量的场景，也可以实现 DocumentDB 之间近似实时的数据同步。

优化建议

  • EMR 主节点使用高可用配置。

  • Flink Checkpoint 需要设置以恢复失败的任务，使用 HDFS 会消耗较多的存储空间，如果使用 S3，还要低延迟，后续可以考虑 S3 Express One Zone 。

  • 源数据库业务量比较低时，比如几百 QPS，Kafka 单个分区即可。

  • 源数据库业务量多时，使用 Kafka 多分区，结合 Flink watermark 有序写入。

  • Flink 任务并行度最好和 Kafka 分区数量一致，并且有足够的 slot 可以运行任务。

  • 监控源和目标数据库，EMR Flink/MSK Kafka 的性能指标，以及 Kafka 消息处理进度。

本篇作者

0f44db7f3e826131f294394c6ce86796.jpeg

章平

亚马逊云科技数据库架构师。2014 年起就职于亚马逊云科技，先后加入技术支持和解决方案团队，致力于客户业务在云上高效落地。对于各类云计算产品和技术，特别是在数据库和大数据方面，拥有丰富的技术实践和行业解决方案经验。此前曾就职于 Sun，Oracle，Intel 等 IT 企业。

4f404d64e3a244f95952c080236caca5.gif

星标不迷路，开发更极速！

关注后记得星标「亚马逊云开发者」

544eee3e1afcadecadff765d50a04aeb.gif

听说，点完下面4个按钮

就不会碰到bug了！

6ad4cd20a8dab6d28fe67aa5c1155120.gif

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1462076.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

pytorch: ground truth similarity matrix

pytorch: ground truth similarity matrix

按照真实标签排序pair-wise相似度矩阵的Pytorch代码 本文仅作留档，用于输出可视化 Inputs: Ground-truths Y ∈ R n 1 \mathbf{Y}\in\mathbb R^{n\times 1} Y∈Rn1, Similarity matrix A ∈ R n n \mathbf{A}\in\mathbb R^{n\times n} A∈RnnOutputs: Block dia…
阅读更多...
【无标题】https://www.php.cn/faq/602417.html

【无标题】https://www.php.cn/faq/602417.html

https://www.php.cn/faq/602417.htmlTOC 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。 新的改变 我们对Markdown编…
阅读更多...
Mysql系列之命令行登录、连接工具登录、数据库表常用命令

Mysql系列之命令行登录、连接工具登录、数据库表常用命令

登录与常用命令 连接工具登录命令行登录数据库1、查看数据库2、指定数据库3、查看当前数据库4、建库语句 数据表1、查看数据表2、查看表结构信息3、查看建表语句4、建表语句 连接工具登录 首先下载mysql连接工具，解压后直接打开软件，按以下步骤操作&…
阅读更多...
车载氢气浓度传感器为氢能源车保驾护航

车载氢气浓度传感器为氢能源车保驾护航

最近，车载氢气浓度传感器成为了一个热门话题。作为一名对科技充满热情的汽车爱好者，我自然也对这个话题产生了浓厚的兴趣。那么，车载氢气浓度传感器到底是什么？它又是如何工作的呢？下面就让我为你一一揭秘。 首先&…
阅读更多...
C++ Primer 笔记（总结，摘要，概括）——第7章 类

C++ Primer 笔记（总结，摘要，概括）——第7章 类

目录 ​编辑 7.1 定义抽象数据类型 7.1.1 设计Sales_data类 7.1.2 定义改进的Sales_data类 7.1.3 定义类相关的非成员函数 7.1.4 构造函数 7.1.5 拷贝、赋值和析构 7.2 访问控制和封装 7.2.1 友元 7.3 类的其他特性 7.3.1 类成员再探 7.3.2 返回*this的成员函数 7.3.3 类类…
阅读更多...
大蟒蛇（Python）笔记（总结，摘要，概括）——第10章 文件和异常

大蟒蛇（Python）笔记（总结，摘要，概括）——第10章 文件和异常

目录 10.1 读取文件 10.1.1 读取文件的全部内容 10.1.2 相对文件路径和绝对文件路径 10.1.3 访问文件中的各行 10.1.4 使用文件的内容 10.1.5 包含100万位的大型文件 10.1.6 圆周率中包含你的生日吗 10.2 写入文件 10.2.1 写入一行 10.2.2 写入多行 10.3 异常 10.3.1 处理Ze…
阅读更多...
SpringBoot整合POIExcel: 实现导入导出Excel功能

SpringBoot整合POIExcel: 实现导入导出Excel功能

SpringBoot整合POIExcel: 实现导入导出Excel功能 SpringBoot整合POIExcel: 实现导入导出Excel功能摘要引言依赖Poi包结构读取Excel表格读取Excel表格写入Excel表格 实战测试导入表格导出表格代码实现细节 博主 默语带您 Go to New World. ✍ 个人主页—— 默语 的博客&#x1f…
阅读更多...
C++面向对象程序设计-北京大学-郭炜【课程笔记（四）】

C++面向对象程序设计-北京大学-郭炜【课程笔记（四）】

C面向对象程序设计-北京大学-郭炜【课程笔记（四）】 1、this指针1.1、this指针的作用1.2、this指针和静态成员函数 2、静态成员变量和静态成员函数2.1、基本概念2.2、基本概念总结2.3、如何访问静态成员2.4、静态成员变量的使用场景（重要&…
阅读更多...
stm32——hal库学习笔记(ADC)

stm32——hal库学习笔记(ADC)

这里写目录标题 一、ADC简介（了解）1.1，什么是ADC？1.2，常见的ADC类型1.3，并联比较型工作示意图1.4，逐次逼近型工作示意图1.5，ADC的特性参数1.6，STM32各系列ADC的主要特性 …
阅读更多...
(done) Positive Semidefinite Matrices 什么是半正定矩阵？如何证明一个矩阵是半正定矩阵？ 可以使用特征值

(done) Positive Semidefinite Matrices 什么是半正定矩阵？如何证明一个矩阵是半正定矩阵？ 可以使用特征值

参考视频：https://www.bilibili.com/video/BV1Vg41197ew/?vd_source7a1a0bc74158c6993c7355c5490fc600 参考资料(半正定矩阵的定义)：https://baike.baidu.com/item/%E5%8D%8A%E6%AD%A3%E5%AE%9A%E7%9F%A9%E9%98%B5/2152711?frge_ala 看看半正定矩阵的…
阅读更多...
《最新出炉》系列初窥篇-Python+Playwright自动化测试-21-处理鼠标拖拽-番外篇

《最新出炉》系列初窥篇-Python+Playwright自动化测试-21-处理鼠标拖拽-番外篇

1.简介 前边宏哥拖拽有提到那个反爬虫机制，加了各种参数，以及加载js脚本文件还是有问题，偶尔宏哥好像发现了解决问题的办法，看到了黎明的曙光，宏哥就说试一下看看行不行，万一实现了。结果宏哥试了结果真的…
阅读更多...
从零开始学习Netty - 学习笔记 - NIO基础 - 网络编程: Selector

从零开始学习Netty - 学习笔记 - NIO基础 - 网络编程: Selector

4.网络编程 4.1.非阻塞 VS 阻塞 在网络编程中，**阻塞（Blocking）和非阻塞（Non-blocking）**是两种不同的编程模型，描述了程序在进行网络通信时的行为方式。 阻塞（Blocking）&#xff1…
阅读更多...
Kubernetes 卷存储 NFS | nfs搭建配置 原理介绍 nfs作为存储卷使用

Kubernetes 卷存储 NFS | nfs搭建配置 原理介绍 nfs作为存储卷使用

1、NFS介绍 NFS（Network File System）是一种分布式文件系统协议，允许客户端远程访问服务器上的文件，实现数据共享。它整合多个存储设备为统一文件系统，方便数据存储和管理，支持负载均衡和故障转移&#xf…
阅读更多...
《咸鱼之王》简单拆解图（持续更新）

《咸鱼之王》简单拆解图（持续更新）

文章目录 一、 介绍二、 角色设定阿咸咸将 三、游戏拆解 一、 介绍 《咸鱼之王》是一款由阿咸工作室开发的手机游戏，战斗方式为回合制卡牌对战，同时玩家点击屏幕可以为阵容提供助攻。该游戏于2021年3月4日公测。 在游戏中，玩家将化身主角阿…
阅读更多...
测试环境搭建整套大数据系统（四：ubuntu22.4创建普通用户）

测试环境搭建整套大数据系统（四：ubuntu22.4创建普通用户）

一：创建用户，修改密码，增加sudo权限。 useradd dolphinscheduler #输入密码 passwd dolphinscheduler # 配置 sudo 免密 sed -i $adolphinscheduler ALL(ALL) NOPASSWD: NOPASSWD: ALL /etc/sudoers sed -i s/Defaults requirett/#Defa…
阅读更多...
【Java面试】MQ（Message Queue）消息队列

【Java面试】MQ（Message Queue）消息队列

目录 一、MQ介绍二、MQ的使用1应用解耦2异步处理3流量削峰4日志处理5消息通讯三、使用 MQ 的缺陷1.系统可用性降低：2.系统复杂性变高3.一致性问题四、常用的 MQActiveMQ：RabbitMQ：RocketMQ：Kafka：五、如何保证MQ的高可用?ActiveMQ：RabbitMQ：RocketMQ：Kafka：六、如何保…
阅读更多...
Python环境下基于门控双注意力机制的滚动轴承剩余使用寿命RUL预测(Tensorflow模块)

Python环境下基于门控双注意力机制的滚动轴承剩余使用寿命RUL预测(Tensorflow模块)

机械设备的寿命是其从开始工作持续运行直至故障出现的整个时间段，以滚动轴承为例，其寿命为开始转动直到滚动体或是内外圈等元件出现首次出现故障前。目前主流的滚动轴承RUL预测分类方法包含两种：一是基于物理模型的RUL预测方法，二…
阅读更多...
【计算机科学基础】

【计算机科学基础】

曾梦想执剑走天涯，我是程序猿【AK】 目录 简述概要知识图谱 简述概要 计算机科学基础还包括诸如人工智能、机器学习、图形学、密码学等更专业的领域。随着技术的不断发展，计算机科学基础也在不断扩大和深化。 知识图谱 计算理论 这是研究计算的本质和…
阅读更多...
docker pullpush 生成镜像文件并push 到阿里云

docker pullpush 生成镜像文件并push 到阿里云

pull docker docker pull ultralytics/ultralytics # 拉取yolov8的镜像仓库 docker run -it ultralytics/ultralytics # 运行镜像 conda create -n gsafety python3.8 # 创建环境 source activate gsafety # 激活环境 pip install -i https://pypi.tuna.tsinghua.edu.cn/simp…
阅读更多...
BOSS直聘招聘经验

BOSS直聘招聘经验

招聘低端兼职岗位。流量很大，来的人通常实力也不足。 招聘高端兼职岗位。流量不多。来的人通常具备一定实力。 招聘高薪职位，流量一般，会有有实力的勾搭。 招聘低薪职位，流量一般。通常没什么实力。
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023