[dataworks]从mysql导入数据、将结果导入到mysql、处理写错表名问题、创建依赖任务

news2024/10/6 22:32:34

一、从mysql导入数据

在ods的数据集成下点新建-->离线同步

1、起名imp_t_ods_uc_cst_terminal_dtl_df

前缀imp是import的缩写

t代表trade即MySQL的交易库(trade)的简写

ods即导入到ods层

uc_cst_terminal_dt为MySQL对应的表名

df为日全量导入（di为日增量导入）

2、建表

默认就是覆盖分区

这个样就行了

3、调度配置

4、配置资源

5、保存、提交、发布

6、将表授权

1）申请

2）同意

7、测试环境补数据（可以省略）

注意从这里点进去是测试环境哦

8、生产环境补数据

1、查看节点id

2、点击右上角的运维中心

3、查找任务、补数据

二、将数据从dataworks导入到mysql

1、在mysql建表

2、创建同步任务

二、表写错名

1、通过新建结果表的方式处理

1）新建一张表（开发环境）

2）将改表变成生产表

3）修改原任务中的表即可

注：对任务名进行修改并不会影响任务的调度。

2、删除原同名任务（不好用）

1）取消发布

右上角

2）下线（我没用上）

3）删除任务

4）新建同名任务

三、创建依赖任务

1、创建测试表

CREATE TABLE IF NOT EXISTS dwd_uc_cst_terminal_question_df(
`uuid`                          STRING COMMENT '主键',
`terminal_id`                   STRING COMMENT '终端拜访维护ID;FK:UC_CST_TERMINAL_DTL',
`questionset_uuid`              STRING COMMENT '题目表;UC_CST_TERMINAL_QUESTIONSET',
`org_uuid`                      STRING COMMENT '组织机构;FK:组织机构uuid',
`manage_unit_uuid`              STRING COMMENT '管理单元',
`tagcode`                       STRING COMMENT '标签编码;FK:UC_CST_CUSTOMER_EXT',
`tagname`                       STRING COMMENT '标签名称;FK:UC_CST_CUSTOMER_EXT',
`tag_volume`                    STRING COMMENT '标签取值',
`is_tagsync`                    STRING COMMENT '标签是否同步;0:否; 1:是 ;',
`display_order`                 STRING COMMENT '题目排序',
`question`                      STRING COMMENT '指标题目',
`que_sort`                      STRING COMMENT '题目所属分类;FK:字典QUE_SORT',
`que_description`               STRING COMMENT '题目描述',
`quetype`                       STRING COMMENT '题目类别;1:单选; 2:多选 ;3:填空;4:上传附件',
`is_fill`                       STRING COMMENT '是否必答;0:否; 1:是 ;',
`queoption`                     STRING COMMENT '题目选项',
`fill_value`                    STRING COMMENT '填写值',
`syscreatedate`                 TIMESTAMP COMMENT '_创建时间',
`syscreatoruuid`                STRING COMMENT '_创建人',
`syscreatorname`                STRING COMMENT '_创建人名称',
`sysupdatedate`                 TIMESTAMP COMMENT '_修改时间',
`sysupdateuseruuid`             STRING COMMENT '_修改人',
`sysupdateusername`             STRING COMMENT '_修改人名称',
`sysisdelete`                   STRING COMMENT '_删除状态'
)
COMMENT '终端拜访维护项目'
PARTITIONED BY (ds STRING)
lifecycle 36500;--100年

2、编写语句

insert OVERWRITE table dwd_uc_cst_terminal_question_df PARTITION(ds='${bizdate}')
select 
UUID,
TERMINAL_ID,
QUESTIONSET_UUID,
ORG_UUID,
MANAGE_UNIT_UUID,
TAGCODE,
TAGNAME,
TAG_VOLUME,
IS_TAGSYNC,
DISPLAY_ORDER,
QUESTION,
QUE_SORT,
QUE_DESCRIPTION,
QUETYPE,
IS_FILL,
QUEOPTION,
FILL_VALUE,
SYSCREATEDATE,
SYSCREATORUUID,
SYSCREATORNAME,
SYSUPDATEDATE,
SYSUPDATEUSERUUID,
SYSUPDATEUSERNAME,
SYSISDELETE
from 
ods_uc_cst_terminal_question_df
WHERE ds='${bizdate}'
;

3、配置调度设置依赖