文章目录
- 1、还原 dataxweb 数据库
- 2、修改配置文件
- 3、打包
前文回顾:
《DataX 及 DataX-Web 安装使用详解》
《DataX 源码调试及打包》
源码地址:https://github.com/WeiYe-Jing/datax-web
1、还原 dataxweb 数据库
sql 脚本在目录 /bin/db/datax-web.sql
2、修改配置文件
打开项目后,如下
我们需要修改控制器datax-admin和执行器datax-executor的配置文件。
- datax-admin
修改控制器配置文件application.yml
# 控制器端口号
server:
port: 8099
spring:
#数据源,目前只支持mysql
datasource:
username: root
password: 666888
url: jdbc:mysql://localhost:3306/dataxweb?serverTimezone=Asia/Shanghai&useLegacyDatetimeCode=false&useSSL=false&nullNamePatternMatchesAll=true&useUnicode=true&characterEncoding=UTF-8
driver-class-name: com.mysql.jdbc.Driver
# 数据库连接池配置
hikari:
## 最小空闲连接数量
minimum-idle: 5
## 空闲连接存活最大时间,默认600000(10分钟)
idle-timeout: 180000
## 连接池最大连接数,默认是10
maximum-pool-size: 10
## 数据库连接超时时间,默认30秒,即30000
connection-timeout: 30000
connection-test-query: SELECT 1
##此属性控制池中连接的最长生命周期,值0表示无限生命周期,默认1800000即30分钟
max-lifetime: 1800000
# datax-web email,不需要可以不配置
mail:
host: smtp.qq.com
port: 25
username:
password:
properties:
mail:
smtp:
auth: true
starttls:
enable: true
required: true
socketFactory:
class: javax.net.ssl.SSLSocketFactory
management:
health:
mail:
enabled: false
server:
servlet:
context-path: /actuator
mybatis-plus:
# mapper.xml文件扫描
mapper-locations: classpath*:/mybatis-mapper/*Mapper.xml
# 实体扫描,多个package用逗号或者分号分隔
#typeAliasesPackage: com.yibo.essyncclient.*.entity
global-config:
# 数据库相关配置
db-config:
# 主键类型 AUTO:"数据库ID自增", INPUT:"用户输入ID", ID_WORKER:"全局唯一ID (数字类型唯一ID)", UUID:"全局唯一ID UUID";
id-type: AUTO
# 字段策略 IGNORED:"忽略判断",NOT_NULL:"非 NULL 判断"),NOT_EMPTY:"非空判断"
field-strategy: NOT_NULL
# 驼峰下划线转换
column-underline: true
# 逻辑删除
logic-delete-value: 0
logic-not-delete-value: 1
# 数据库类型
db-type: mysql
banner: false
# mybatis原生配置
configuration:
map-underscore-to-camel-case: true
cache-enabled: false
call-setters-on-nulls: true
jdbc-type-for-null: 'null'
type-handlers-package: com.wugui.datax.admin.core.handler
# 配置mybatis-plus打印sql日志
logging:
level:
com.wugui.datax.admin.mapper: error
path: ./data/applogs/admin
#datax-job, access token
datax:
job:
accessToken:
#i18n (default empty as chinese, "en" as english)
i18n:
## triggerpool max size
triggerpool:
fast:
max: 200
slow:
max: 100
### log retention days
logretentiondays: 30
datasource:
aes:
key: AD42F6697B035B75
我这修改了数据源、端口以及sql日志的配置。
- datax-executor
修改执行器配置文件application.yml
# web port
server:
port: 8082
# log config
logging:
config: classpath:logback.xml
# 日志路径
path: ./data/applogs/executor/jobhandler
datax:
job:
admin:
### datax admin address list, such as "http://address" or "http://address01,http://address02"
# 控制器的地址及端口
addresses: http://127.0.0.1:8099
executor:
appname: datax-executor
ip:
port: 9999 # 执行器端口号
### job文件的执行日志路径
logpath: ./data/applogs/executor/jobhandler
### job log retention days
logretentiondays: 30
### job, access token
accessToken:
executor:
# datax json文件存放位置
jsonpath: F:/IdeaProjectsWC/DataX/target/datax/datax/script
# Datax执行文件datax.py的地址
pypath: F:/IdeaProjectsWC/DataX/target/datax/datax/bin/datax.py
根据实际情况修改控制器的地址、执行器端口号、json文件存放位置和执行文件datax.py的地址。
3、打包
点击 datax-web 中的clean,等待执行完成后,点击 package 进行打包。
运行 datax-admin 下的 target/datax-admin-2.1.2.jar,以及 datax-executor 下的 target/datax-executor-2.1.2.jar。
不出意外的话会报如下错误
我们打开jar包BOOT-INF\classes目录,可以看到少了一些配置文件,并且mybatis-mapper、i18n里是空的
idea打开,把target/classes下的yml、xml、properties文件以及mybatis-mapper、i18n复制进来
注:这些资源文件打包没打进来可以去pom文件修改配置,我这里就简单粗暴copy进来,同时我的yml文件为了方便上线,所以用了好几个。
再次运行,即可
同理,执行器的yml和xml文件也复制到 datax-executor-2.1.2.jar 里的 BOOT-INF\classes 里
再次运行,即可
运行成功后,即可访问 http://127.0.0.1:8099/index.html,如下
更多技术干货,请持续关注程序员大佬超。
原创不易,转载请注明出处。