DS记录中

news2025/2/23 16:49:50

DataX/hdfswriter/doc/hdfswriter.md at master · alibaba/DataX · GitHub

DataX 写入文档

https://dolphinscheduler.apache.org/zh-cn/docs/3.2.2/architecture/task-structure

DS文档

DS

项目举例

流程

数据库(Datax) -> ODS （shell）->ADS(Datax) -> 数据库
总共包含3个节点，
第一个节点包含两个任务，涉及到两个业务表到ODS的同步，同步方式DataX。且这两个任务，在另外一个工作流中（第一个节点，系统功能使用率统计依赖，两个任务（ods_xdap_apaas_xdap_menus_1d_full/apaas_data_log），在另外一个工作流中，wf11242-得帆ODS）
第二个节点包含一个任务，ODS （shell）->ADS，同步方式shell
第二个节点包含一个任务，ADS-数据库，同步方式DataX

如果我想做这个功能，主要步骤是什么

0，需求本身，数据增量还是全量，分区字段，执行频率，实时性（n+1）

1，分析涉及到业务库表，涉及的需求的字段
2，在hive中创建ODS与ADS表
3，分析数据流转链路（业务库-ODS/DWD/ADS-业务库）+ 任务类型（DataX/shell），如果是DataX 写JSON文件；是shell，写shell脚本
4，整理工作流 + 包含的任务 + 任务关系流向。先创建独立的任务，以此为基础，再创建完整的工作流调用链路

JOB

DataX

写入模式

DS 为什么业务库与hive之间数据交互，用的是Datax，hive表之间数据交互，用的shell

spark

spark shell

shell脚本放哪里

DolphinScheduler 执行方式如果是shell，shell脚本一般放在哪个位置

sh /data/ylscripts/shell_sql/spark/insert_complex_template_spark.sh 0 0 insert_ads_xdap_apaas_menu_count_report.sql $[yyyyMMdd-1]

像这里

找找....todo

spark.sh 脚本样例

sh /data/ylscripts/shell_sql/spark/insert_complex_template_spark.sh 0 0 insert_ads_xdap_apaas_menu_count_report.sql $[yyyyMMdd-1]

sh /data/ylscripts/shell_sql/spark/insert_complex_template_spark.sh 0 0 insert_ads_xdap_apaas_menu_count_report.sql $[yyyyMMdd-1]

-- **************************************************************************
-- ** 所属主题: 运力-租赁订单
-- ** 功能描述: demo-租赁订单聚合
-- ** 所属项目：lease
-- ** 创建者 : zhaoweiwei
-- ** 创建日期: 20230715
-- ** 备注： 默认 shell_sql/spark/insert_complex_template_spark.sh 执行期执行此文件，且传入pt时间分片
-- ** Modified: 
-- **************************************************************************

-- 性能优化：避免产生小文件
-- 自适应执行框架的开关
SET spark.sql.adaptive.enabled = true;
-- 设置每个Reducer读取目标的数据量 如果设置为128MB 则reduce阶段每个task最少处理128MB的数据
SET spark.sql.adaptive.shuffle.targetPostShuffleInputSize=134217728;
-- 分片指定好 pt，sql加pt
insert overwrite table  smcvyl.ads_xdap_apaas_menu_count_report partition(pt='${pt}')
SELECT
    concat(current_timestamp(),rand()*100),
    '599190472848441600',
    '',
    'COMPLETED',
    '',
    '363338147746021377',
    '668f47481ee17b5cb7f6da93',
    '',
    '100386089104489578496',
    '100386089104489578496',
    current_timestamp(),
    '100386089104489578496',
    current_timestamp(),
    '1',
    a.menu_name,
    a.end_time,
    IF(a.person_number = 0,0,a.COUNT) AS COUNT,
    a.person_number
FROM
   (
   select m.menu_name, NOW() end_time, COUNT(*) COUNT, COUNT(DISTINCT (l.operation_user)) person_number
   from 
    (select * from smcvyl.ods_xdap_apaas_xdap_menus_1d_full where pt='${pt}') m
left JOIN
    (select * from smcvyl.ods_xdap_apaas_apaas_data_log where pt='${pt}') l 
    ON l.operation_object = CONCAT('MENU_', m.id) 
    and l.operation_time BETWEEN date_sub(now(), 7) AND now()
    AND l.function_menu = 'APP_MENU'
    AND l.operation_type = 'VIEW_VIEWS'
GROUP BY
    m.menu_name
    )a
;