flink 操作mongodb的例子

news2024/11/26 5:21:15

简述

该例子为从一个Collection获取数据然后插入到另外一个Collection中。
Flink的基本处理过程可以清晰地分为以下几个阶段：

  1. 数据源（Source）：
  • Flink可以从多种数据源中读取数据，如Kafka、RabbitMQ、HDFS等。
  • Flink会将从数据源中读取到的数据转化为一个个数据流，这些数据流可以是无限大的（如实时数据流），也可以是有限大小的（如批量数据流）。
  1. 数据转换（Transformation）：
  • Flink提供了各种数据转换算子（Operators），可以对数据流进行各种操作，包括map、filter、reduce、join等。
  • 这些算子帮助用户对数据流进行各种数据处理和计算操作。
  • 在Flink中，主要有三类Operator：
    • Source Operator：负责数据来源操作，如从文件、socket、Kafka等读取数据。
    • Transformation Operator：负责数据转换，如map、flatMap、reduce等算子。
    • Sink Operator：负责数据落地操作，如将数据写入Hdfs、Mysql、Kafka等。
  1. 数据输出（Sink）：
  • Flink会将处理后的数据输出到指定的目标，这些目标可以是多种类型的数据存储系统，如Kafka、HDFS、MySQL等。
  • Flink支持将数据输出到多个目标，并可以进行复制备份。
  1. Flink核心组件和工作流程：
  • Flink在运行中主要有三个核心组件：JobClient、JobManager和TaskManager。
  • 用户首先提交Flink程序到JobClient，经过JobClient的处理、解析、优化后提交到JobManager，最后由TaskManager运行task。
  • JobClient是Flink程序和JobManager交互的桥梁，主要负责接收程序、解析程序的执行计划、优化程序的执行计划，然后提交执行计划到JobManager。
  1. 执行图（ExecutionGraph）：
  • Flink中的执行图可以分成四层：StreamGraph -> JobGraph -> ExecutionGraph -> 物理执行图。
  • 每一个dataflow以一个或多个sources开始，以一个或多个sinks结束，dataflow类似于任意的有向无环图（DAG）。
  1. 优化过程：
  • Flink会对用户提交的执行计划进行优化，主要优化是将相邻的Operator融合，形成OperatorChain，以提高处理效率。
    在这里插入图片描述

代码

主要函数

package com.wfg.flink.connector.mongodb;


import com.alibaba.fastjson2.JSON;
import com.mongodb.client.model.InsertOneModel;
import com.wfg.flink.connector.mongodb.model.WellCastingInfo;
import com.wfg.flink.connector.mongodb.schema.WellCastingInfoDeserializationSchema;
import lombok.extern.slf4j.Slf4j;
import org.apache.flink.api.common.eventtime.WatermarkStrategy;
import org.apache.flink.api.common.functions.MapFunction;
import org.apache.flink.configuration.MemorySize;
import org.apache.flink.connector.mongodb.sink.MongoSink;
import org.apache.flink.connector.mongodb.source.MongoSource;
import org.apache.flink.connector.mongodb.source.enumerator.splitter.PartitionStrategy;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.bson.BsonDocument;


/**
 * @author wfg
 */
@Slf4j
public class Main {
    public static void main(String[] args) throws Exception {
        MongoSource<WellCastingInfo> mongoSource = MongoSource.<WellCastingInfo>builder()
                .setUri("mongodb://root:123456@127.0.0.1:27017,127.0.0.1:27018,127.0.0.1:27019/admin?replicaSet=rs0&authSource=admin")
                .setDatabase("uux")
                .setCollection("castingInfo")
//                .setProjectedFields("_id", "f0", "f1")
                .setFetchSize(2048)
                .setLimit(10000)
                .setNoCursorTimeout(true)
                .setPartitionStrategy(PartitionStrategy.SAMPLE)
                .setPartitionSize(MemorySize.ofMebiBytes(64))
                .setSamplesPerPartition(10)
                .setDeserializationSchema(new WellCastingInfoDeserializationSchema())
                .build();

        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

        // 从 MongoDB 读取数据
        DataStream<WellCastingInfo> sourceStream = env.fromSource(mongoSource, WatermarkStrategy.noWatermarks(), "Mongo Source");

        // 进行转换（如果需要）
        DataStream<WellCastingInfo> transformedStream = sourceStream.map((MapFunction<WellCastingInfo, WellCastingInfo>) value -> {
            // 转换逻辑
            return value;
        });

        MongoSink<WellCastingInfo> sink = MongoSink.<WellCastingInfo>builder()
                .setUri("mongodb://root:123456@127.0.0.1:27017,127.0.0.1:27018,127.0.0.1:27019/admin?replicaSet=rs0&authSource=admin")
                .setDatabase("uux")
                .setCollection("castingInfo_back")
                .setMaxRetries(3)
//                .setDeliveryGuarantee(DeliveryGuarantee.AT_LEAST_ONCE)
                .setSerializationSchema(
                        (input, context) -> new InsertOneModel<>(BsonDocument.parse(JSON.toJSONString(input))))
                .build();
        transformedStream.sinkTo(sink);
//        stream.sinkTo(sink);

        // 执行作业
        env.execute("Mongo Flink Demo");
    }
}

数据解析处理

package com.wfg.flink.connector.mongodb.schema;

import com.alibaba.fastjson2.JSONObject;
import com.alibaba.fastjson2.JSONReader;
import com.wfg.flink.connector.mongodb.model.WellCastingInfo;
import lombok.extern.slf4j.Slf4j;
import org.apache.flink.api.common.typeinfo.TypeInformation;
import org.apache.flink.api.java.typeutils.TypeExtractor;
import org.apache.flink.connector.mongodb.source.reader.deserializer.MongoDeserializationSchema;
import org.bson.BsonDocument;

import java.util.Date;

/**
 * @author wfg
 */
@Slf4j
public class WellCastingInfoDeserializationSchema implements MongoDeserializationSchema<WellCastingInfo> {
    @Override
    public WellCastingInfo deserialize(BsonDocument bsonDocument) {
        WellCastingInfo rs = null;
        try {
            JSONObject obj = JSONObject.parseObject(bsonDocument.toJson());
            obj.remove("_id");
            obj.remove("time");
            obj.remove("_class");
            rs = obj.to(WellCastingInfo.class, JSONReader.Feature.IgnoreAutoTypeNotMatch);
            if (bsonDocument.getObjectId("_id") != null) {
                rs.setId(bsonDocument.getObjectId("_id").getValue().toString());
            }
            if (bsonDocument.get("time") != null) {
                rs.setTime(new Date(bsonDocument.getDateTime("time").getValue()));
            }
        } catch (Exception e) {
            log.error("数据格式错误：{}:{}", bsonDocument.toJson(), e);
        }
        return rs;
    }

    @Override
    public TypeInformation<WellCastingInfo> getProducedType() {
        return TypeExtractor.getForClass(WellCastingInfo.class);
    }

}

数据类

package com.wfg.flink.connector.mongodb.model;


import lombok.Data;

import java.util.Date;

/**
 * @author wfg
 */
@Data
public class WellCastingInfo {
    private String id;
    private String comCode;
    private Date time;
    private String yjsfzt;
    private String yjsyl;
    private String jjaqzfzt;
    private String spjk01;
    private String jyjqy;
}

pom.xml

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>
    <groupId>com.wfg.flink.connector</groupId>
    <version>1.0-SNAPSHOT</version>
    <artifactId>connector-mongodb</artifactId>

    <properties>
        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
        <flink.version>1.18.1</flink.version>
        <log4j.version>2.14.1</log4j.version>
    </properties>
    <dependencies>
        <dependency>
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
            <version>1.18.30</version>
            <scope>provided</scope>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-connector-mongodb</artifactId>
            <version>1.1.0-1.18</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-connector-base</artifactId>
            <version>${flink.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-streaming-java</artifactId>
            <version>${flink.version}</version>
        </dependency>

        <dependency>
            <groupId>org.apache.logging.log4j</groupId>
            <artifactId>log4j-slf4j-impl</artifactId>
        </dependency>
        <dependency>
            <groupId>org.apache.logging.log4j</groupId>
            <artifactId>log4j-api</artifactId>
            <version>${log4j.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.logging.log4j</groupId>
            <artifactId>log4j-core</artifactId>
            <version>${log4j.version}</version>
        </dependency>
        <dependency>
            <groupId>com.alibaba.fastjson2</groupId>
            <artifactId>fastjson2</artifactId>
            <version>2.0.50</version>
        </dependency>
    </dependencies>
</project>

说明

MongoSource

MongoSource通常指的是一个自定义的数据源（Source），用于从MongoDB数据库中读取数据。

  1. 依赖
    首先，需要在项目的pom.xml文件中引入Flink MongoDB连接器的依赖。这通常包括Flink的MongoDB连接器以及MongoDB的Java驱动。例如：
<dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-connector-mongodb</artifactId>
            <version>1.1.0-1.18</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-connector-base</artifactId>
            <version>${flink.version}</version>
        </dependency>
  1. 创建MongoSource
    创建一个自定义的MongoSource类，该类通常继承自Flink的RichSourceFunction或其他相关的Source Function接口。在这个类中，需要实现与MongoDB的连接、查询和数据读取的逻辑。
  2. 关键方法
  • **open(Configuration parameters)：**在这个方法中，可以初始化MongoDB的连接，如创建一个MongoClient实例。
  • **run(SourceContext ctx)：**这个方法负责从MongoDB中读取数据，并将数据发送到Flink的SourceContext中。可以使用MongoDB的查询API来执行查询操作，并将结果转换为Flink可以处理的数据类型（如Tuple、POJO等）。
  • **cancel()：**当Flink作业被取消时，这个方法会被调用。可以在这个方法中关闭MongoDB的连接或执行其他清理操作。
  1. 配置和使用MongoSource
    可以通过调用StreamExecutionEnvironment的addSource方法来添加自定义MongoSource。例如：
StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();  
DataStream<YourDataType> dataStream = env.addSource(new YourMongoSource());  
// ... 后续的数据处理和转换操作 ...

注意事项:

  • 确保MongoDB服务器的地址、端口和凭据等信息在MongoSource中正确配置。
  • 根据需求，可以调整MongoDB的查询条件、分页参数等，以控制从MongoDB中读取的数据量和频率。
  • 如果Flink作业需要处理大量的数据，考虑使用MongoDB的索引来优化查询性能。
  • 在处理完数据后，确保关闭与MongoDB的连接，以避免资源泄漏。

env.fromSource

env.fromSource 并不是一个直接的方法或表达式。env 通常指的是 Flink 的 StreamExecutionEnvironment 或 ExecutionEnvironment 对象，它们用于设置 Flink 流处理或批处理作业的上下文和执行环境。
然而，为了从外部数据源读取数据到 Flink 作业中，会使用 env 对象上的各种方法来创建数据源。例如，对于流处理，可能会使用 env.addSource(sourceFunction)，其中 sourceFunction 是一个实现了 SourceFunction 接口或继承自 RichParallelSourceFunction 的类，它定义了如何从外部系统（如 Kafka、文件系统、数据库等）读取数据。

对于常见的外部数据源，Flink 提供了各种预定义的连接器和数据源函数，可以直接使用它们，而无需自己实现 SourceFunction。例如：

  • Kafka: 使用 FlinkKafkaConsumer
  • Files: 使用 FileSource 或 StreamExecutionEnvironment.readFile()
  • JDBC: 使用 JdbcInputFormat 或第三方库如 flink-connector-jdbc

算子操作

算子（Operator）是数据处理的核心构建块。它们定义了如何转换或处理数据流（DataStream）或数据集（DataSet）。Flink 提供了丰富的算子库来支持各种数据处理任务。以下是一些常见的 Flink 算子操作：

  1. 转换（Transformation）算子
  • map：对每个元素应用一个函数，并返回一个新的元素。
  • flatMap：对每个元素应用一个函数，该函数可以返回任意数量的元素。
  • filter：过滤出满足特定条件的元素。
  • keyBy：按一个或多个键对流进行分区，以便后续可以进行有状态的操作（如聚合）。
  • reduce：在具有相同键的分组数据上应用一个聚合函数。
  • sum、min、max 等：针对特定数据类型的内置聚合函数。
  1. 连接（Join）和联合（Co-operation）算子
  • timeWindowAll、timeWindow：在时间窗口内对元素进行聚合。
  • intervalJoin：基于时间间隔的连接操作。
  • connect：连接两个流以进行联合操作，如 coMap、coFlatMap 等。
  • union：将两个或多个流合并为一个流。
  1. 窗口（Window）算子
  • tumblingWindow：滚动窗口，窗口之间没有重叠。
  • slidingWindow：滑动窗口，窗口之间可以重叠。
  • sessionWindow：会话窗口，基于元素之间的时间间隔动态创建窗口。
  1. 状态和容错
  • process：一个低级的算子，允许访问元素的时间戳和状态。
  • checkpointing：用于在 Flink 作业中启用容错和状态一致性。
  1. 侧边输出（Side Outputs）
  • 在某些算子中，可以定义侧边输出来处理不符合主逻辑的异常或特殊情况的元素。
  1. 异步 I/O 操作
  • asyncFunction：允许执行异步操作（如数据库查询）而不阻塞 Flink 的主数据流。
  1. 广播（Broadcast）和重分区（Redistribute）
  • broadcast：将数据发送到所有并行子任务。
  • rebalance、rescale、shuffle：用于改变流中的元素分布。
  1. 迭代（Iteration）
  • Flink 支持迭代处理，允许重复处理数据直到满足某个条件。

MongoSink

  1. MongoSink implements Sink
public SinkWriter<IN> createWriter(Sink.InitContext context) {
        return new MongoWriter(this.connectionOptions, this.writeOptions, this.writeOptions.getDeliveryGuarantee() == DeliveryGuarantee.AT_LEAST_ONCE, context, this.serializationSchema);
    }
  1. MongoWriter implements SinkWriter
  • write： 写入数据
  • flush： doBulkWrite写入数据。
  • close： 关闭链接
  1. MongoSinkBuilder
  • setUri: 设置Mongodb链接
  • setDatabase： 设置Database
  • setCollection： 设置Collection
  • setBatchSize： 为每个批处理请求设置要缓冲的最大操作数。可以通过-1到
    禁用批处理。
  • setBatchIntervalMs： 设置批处理刷新间隔（以毫秒为单位）。可以通过-1来禁用它。
  • setMaxRetries： 设置写入记录失败时的最大重试次数。
  • setDeliveryGuarantee： 设置保存保证，默认保存保证为DeliveryGuarantee#AT_LEAST_ONCE
  • setSerializationSchema： 设置对每条记录调用的序列化模式，以将其转换为MongoDB批量
    要求
MongoSink<WellCastingInfo> sink = MongoSink.<WellCastingInfo>builder()
                .setUri("mongodb://root:123456@127.0.0.1:27017,127.0.0.1:27018,127.0.0.1:27019/admin?replicaSet=rs0&authSource=admin")
                .setDatabase("sjzz")
                .setCollection("wellCastingInfo_back")
                .setMaxRetries(3)
//                .setDeliveryGuarantee(DeliveryGuarantee.AT_LEAST_ONCE)
                .setSerializationSchema(
                        (input, context) -> new InsertOneModel<>(BsonDocument.parse(JSON.toJSONString(input))))
                .build();

transformedStream.sinkTo(sink);

Flink 1.12 之前，Sink 算子是通过调用 DataStream 的 addSink 方法来实现的：

stream.addSink(new SinkFunction(...));

从 Flink 1.12 开始，Flink 重构了 Sink 架构：

stream.sinkTo(...)

env.execute(“Mongo Flink Demo”)

env.execute() 是用于启动 Flink 作业（Job）的关键方法。这里的 env 通常是一个 StreamExecutionEnvironment 或 ExecutionEnvironment 的实例，它们分别用于 Flink 的 DataStream API 和 DataSet API。
当创建了一个 Flink 作业，定义了数据源、转换（transformations）和数据接收器（sinks）之后，需要调用 env.execute() 来触发 Flink 运行时（runtime）执行作业。

需要注意的是，一旦调用了 env.execute()，Flink 运行时就会开始执行作业，并且 env.execute() 方法会阻塞，直到作业执行完成或发生错误。如果希望程序在启动 Flink 作业后继续执行其他操作，可以考虑将 Flink 作业提交到远程集群并在本地程序中继续执行其他任务。这通常需要使用 Flink 的集群客户端（ClusterClient）或相应的 REST API 来实现。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1717787.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

SpringBoot案例,通关版

SpringBoot案例,通关版

项目目录 此项目为了伙伴们可以快速入手SpringBoot项目,全网最详细的版本,每个伙伴都可以学会,这个项目每一步都会带大家做,学完后可以保证熟悉SpringBoot的开发流程项目介绍:项目使用springboot mybatis进行开发带你一起写小项目先把初始环境给你们第一步新建springboot项目返…
阅读更多...
HTTP协议介绍与TCP协议的区别

HTTP协议介绍与TCP协议的区别

1、HTTP介绍 HTTP&#xff08;超文本传输协议&#xff0c;Hypertext Transfer Protocol&#xff09;是一种用于从网络传输超文本到本地浏览器的传输协议。它定义了客户端与服务器之间请求和响应的格式。HTTP 是基于TCP/IP 进行数据的通信&#xff0c;通常使用端口 80/8080。HTT…
阅读更多...
项目纪实 | 版本升级操作get！GreatDB分布式升级过程详解

项目纪实 | 版本升级操作get！GreatDB分布式升级过程详解

某客户项目现场&#xff0c;因其业务系统要用到数据库新版本中的功能特性&#xff0c;因此考虑升级现有数据库版本。在升级之前&#xff0c;万里数据库项目团队帮助客户在本地测试环境构造了相同的基础版本&#xff0c;导入部分生产数据&#xff0c;尽量复刻生产环境进行升级&a…
阅读更多...
机器学习笔记（1）：sklearn是个啥？

机器学习笔记（1）：sklearn是个啥？

sklearn 简介 Sklearn是一个基于Python语言的开源机器学习库。全称Scikit-Learn&#xff0c;是建立在诸如NumPy、SciPy和matplotlib等其他Python库之上&#xff0c;为用户提供了一系列高质量的机器学习算法&#xff0c;其典型特点有&#xff1a; 简单有效的工具进行预测数据分…
阅读更多...
GEYA格亚GRT8-S1S2间歇性双时间循环继电器时间可调交流220V 24v

GEYA格亚GRT8-S1S2间歇性双时间循环继电器时间可调交流220V 24v

品牌 GEYA 型号 GRT8-S2 AC/DC12-240V 产地 中国大陆 颜色分类 GRT8-S1 A220,GRT8-S1 AC/DC12-240V,GRT8-S2 A220,GRT8-S2 AC/DC12-240V GRT8-S&#xff0c;循环延时&#xff0c;时间继电器&#xff1a;LED指示灯&#xff0c;触头容量大&#xff0c;电压超宽&#xff0…
阅读更多...
构建树结构的几种方式

构建树结构的几种方式

表结构 CREATE TABLE sys_dept (dept_id bigint(20) NOT NULL AUTO_INCREMENT COMMENT ID,pid bigint(20) DEFAULT NULL COMMENT 上级部门,sub_count int(5) DEFAULT 0 COMMENT 子部门数目,name varchar(255) NOT NULL COMMENT 名称,dept_sort int(5) DEFAULT 999 COMMENT 排…
阅读更多...
【C#】类和对象的区别

【C#】类和对象的区别

1.区别概述 结构体和类的最大区别是在存储空间上&#xff0c;前者是值类型&#xff0c;后者是引用类型&#xff0c;它们在赋值上有很大的区别&#xff0c;在类中指向同一块空间的两个类的值会随一个类的改变而改变另一个&#xff0c;请看如下代码所示&#xff1a; namespace …
阅读更多...
020.有效的括号，用栈来解决的 Java 版 LeetCode 刷题笔记

020.有效的括号，用栈来解决的 Java 版 LeetCode 刷题笔记

题意 给定一个只包括 (&#xff0c;)&#xff0c;{&#xff0c;}&#xff0c;[&#xff0c;] 的字符串 s &#xff0c;判断字符串是否有效。 有效字符串需满足&#xff1a; 左括号必须用相同类型的右括号闭合。左括号必须以正确的顺序闭合。每个右括号都有一个对应的相同类型…
阅读更多...
FreeRTOS【12】队列集使用

FreeRTOS【12】队列集使用

1.开发背景 基于以上的章节&#xff0c;了解了 FreeRTOS 多线程间的信号量、队列的使用&#xff0c;已经满足了日常使用场景。这个篇章要介绍的是队列集&#xff0c;实际上队列的升级版&#xff0c;存储信号量和队列等的触发事件。 队列集在实际的开发项目中应用相对比较少&…
阅读更多...
linux同步搭建多台服务器

linux同步搭建多台服务器

前言&#xff1a; 如果在安装服务器的过程中&#xff0c;需要安装多台服务器&#xff0c;同样的配置&#xff0c;同样的步骤就可以使用此方法&#xff0c;搭建集群同步安装 1.配置网卡 想要两台机器进行同步的话&#xff0c;必须网段是同样的&#xff0c;保持在同一网段并且能…
阅读更多...
科技智慧园区解决方案

科技智慧园区解决方案

随着科技创新的推动和城市化进程的加速&#xff0c;城市面临着诸多挑战和机遇。如何提升城市的竞争力和可持续性&#xff0c;是一个亟待解决的问题。在这个背景下&#xff0c;科技智慧园区作为一种新型的城市发展模式&#xff0c;引起了越来越多的关注和探索。 什么是科技智慧园…
阅读更多...
Jmeter的线程组之间传递参数

Jmeter的线程组之间传递参数

使用jemter做接口测试&#xff0c;有时候需要会遇到不同线程组之间调用相同变量的情况&#xff0c;最多见的就是token的传递&#xff0c;网上有很多处理方法&#xff0c;这里只记录setProperty的办法&#xff0c;一招鲜走遍天&#xff01; 首先我有两个线程组&#xff1a; 线程…
阅读更多...
Servlet搭建博客系统

Servlet搭建博客系统

现在我们可以使用Servlet来搭建一个动态(前后端可以交互)的博客系统了(使用Hexo只能实现一个纯静态的网页,即只能在后台自己上传博客)。有一种"多年媳妇熬成婆"的感觉。 一、准备工作 首先创建好项目,引入相关依赖。具体过程在"Servlet的创建"中介绍了。…
阅读更多...
WiFi蓝牙模块促进传统零售数字化转型：智能零售体验再升级

WiFi蓝牙模块促进传统零售数字化转型：智能零售体验再升级

随着科技的不断发展&#xff0c;数字化转型已经成为了各行各业的必然趋势。在传统零售业中&#xff0c;WiFi蓝牙模块的应用正逐渐推动着行业的数字化转型&#xff0c;为消费者带来更加智能化、便捷化的零售体验。本文MesoonRF美迅物联网将从以下几个方面阐述WiFi蓝牙模块在传统…
阅读更多...
Claude 3可使用第三方API，实现业务流程自动化

Claude 3可使用第三方API，实现业务流程自动化

5月31日&#xff0c;著名大模型平台Anthropic宣布&#xff0c;Claude3模型可以使用第三方API和工具。 这也就是说&#xff0c;用户通过文本提问的方式就能让Claude自动执行多种任务&#xff0c;例如&#xff0c;从发票中自动提取姓名、日期、金额等&#xff0c;该功能对于开发…
阅读更多...
GCN 代码解析(一) for pytorch

GCN 代码解析(一) for pytorch

Graph Convolutional Networks 代码详解 前言一、数据集介绍二、文件整体架构三、GCN代码详解3.1 utils 模块3.2 layers 模块3.3 models 模块3.4 模型的训练代码 总结 前言 在前文中&#xff0c;已经对图卷积神经网络&#xff08;Graph Convolutional Neural Networks, GCN&am…
阅读更多...
linux nohup命令详解：持久运行命令，无视终端退出

linux nohup命令详解：持久运行命令，无视终端退出

nohup &#xff08;全称为 “no hang up”&#xff09;&#xff0c;用于运行一个命令&#xff0c;使其在你退出 shell 或终端会话后继续运行。 基本语法 nohup command [arg1 ...] [&> output_file] &command 是你想要运行的命令。[arg1 ...] 是该命令的参数。&am…
阅读更多...
STM32-14-FSMC_LCD

STM32-14-FSMC_LCD

STM32-01-认识单片机 STM32-02-基础知识 STM32-03-HAL库 STM32-04-时钟树 STM32-05-SYSTEM文件夹 STM32-06-GPIO STM32-07-外部中断 STM32-08-串口 STM32-09-IWDG和WWDG STM32-10-定时器 STM32-11-电容触摸按键 STM32-12-OLED模块 STM32-13-MPU 文章目录 1. 显示器分类2. LCD简…
阅读更多...
【稳定检索/投稿优惠】2024年语言、文化与艺术发展国际会议(LCAD 2024)

【稳定检索/投稿优惠】2024年语言、文化与艺术发展国际会议(LCAD 2024)

2024 International Conference on Language, Culture, and Art Development 2024年语言、文化与艺术发展国际会议 【会议信息】 会议简称&#xff1a;LCAD 2024大会时间&#xff1a;2024-08-10截稿时间&#xff1a;2024-07-27(以官网为准&#xff09;大会地点&#xff1a;中国…
阅读更多...
【数学不建模】赛程安排

【数学不建模】赛程安排

你所在的年级有5个班&#xff0c;每班一支球队在同一块场地上进行单循环赛, 共要进行10场比赛. 如何安排赛程使对各队来说都尽量公平呢. 下面是随便安排的一个赛程: 记5支球队为A, B, C, D, E&#xff0c;在下表左半部分的右上三角的10个空格中, 随手填上1,2,10, 就得到一个赛程…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023