大数据-240 离线数仓 - 广告业务 测试 ADS层数据加载 DataX数据导出到 MySQL

news2025/1/8 14:37:21

点一下关注吧！！！非常感谢！！持续更新！！！

Java篇开始了！

目前开始更新 MyBatis，一起深入浅出！

目前已经更新到了：

  • Hadoop（已更完）
  • HDFS（已更完）
  • MapReduce（已更完）
  • Hive（已更完）
  • Flume（已更完）
  • Sqoop（已更完）
  • Zookeeper（已更完）
  • HBase（已更完）
  • Redis （已更完）
  • Kafka（已更完）
  • Spark（已更完）
  • Flink（已更完）
  • ClickHouse（已更完）
  • Kudu（已更完）
  • Druid（已更完）
  • Kylin（已更完）
  • Elasticsearch（已更完）
  • DataX（已更完）
  • Tez（已更完）
  • 数据挖掘（已更完）
  • Prometheus（已更完）
  • Grafana（已更完）
  • 离线数仓（正在更新…）

# 章节内容

上节我们完成了如下的内容：

  • 广告业务 测试
  • FlumeAgent 加载ODS、DWD层

在这里插入图片描述

导入数据

加载ADS层

ad_show_page
sh /opt/wzk/hive/ads_load_ad_show_page.sh 2020-07-21

执行结果如下图所示：
在这里插入图片描述
查看Hive中的数据：

hive 

use ads;
select * from ads_ad_show_place limit 5;

运行结果如下图所示：
在这里插入图片描述
继续导入其他数据：

sh /opt/wzk/hive/ads_load_ad_show_page.sh 2020-07-22
sh /opt/wzk/hive/ads_load_ad_show_page.sh 2020-07-23
sh /opt/wzk/hive/ads_load_ad_show_page.sh 2020-07-24
...省略

最终的Hive的数据量如下所示：

select count(*) from ads_ad_show_place;

对应图片为：
在这里插入图片描述

ad_show_page_window
sh /opt/wzk/hive/ads_load_ad_show_page_window.sh 2020-07-21

执行结果如下所示：
在这里插入图片描述
查看Hive中的数据如下：

hive 

use ads;
select * from ads_ad_show_place_window limit 5;

执行结果如下图所示：
在这里插入图片描述
继续加载其他的数据：

sh /opt/wzk/hive/ads_load_ad_show_page_window.sh 2020-07-22
sh /opt/wzk/hive/ads_load_ad_show_page_window.sh 2020-07-23
sh /opt/wzk/hive/ads_load_ad_show_page_window.sh 2020-07-24
...省略

Hive中的数据总数如下：

select count(*) from ads_ad_show_place_window;

运行结果如下所示：
在这里插入图片描述

导出数据

执行步骤

  • 在MySQL创建对应的表
  • 创建配置文件（JSON）
  • 执行命令，使用JSON配置文件，测试
  • 编写执行脚本（Shell）
  • Shell脚本的测试

MySQL

drop table if exists dwads.ads_ad_show_place;
create table dwads.ads_ad_show_place(
  ad_action tinyint,
  hour varchar(2),
  place varchar(20),
  product_id int,
  cnt int,
  dt varchar(10)
);

执行结果如下图所示：
在这里插入图片描述

DataX

配置文件
vim /opt/wzk/datax/ads_ad_show_place.json

写入的内容如下所示：

{
  "job":{
    "setting":{
      "speed":{
        "channel":1
      }
    },
    "content":[
      {
        "reader":{
          "name":"hdfsreader",
          "parameter":{
            "path":"/user/hive/warehouse/ads.db/ads_ad_show_place/dt=$do_date/*",
            "defaultFS":"hdfs://h121.wzk.icu:9000",
            "column":[
              {
                "index":0,
                "type":"string"
              },
              {
                "index":1,
                "type":"string"
              },
              {
                "index":2,
                "type":"string"
              },
              {
                "index":3,
                "type":"string"
              },
              {
                "index":4,
                "type":"string"
              },
              {
                "type":"string",
                "value":"$do_date"
              }
            ],
            "fileType":"text",
            "encoding":"UTF-8",
            "fieldDelimiter":","
          }
        },
        "writer":{
          "name":"mysqlwriter",
          "parameter":{
            "writeMode":"insert",
            "username":"hive",
            "password":"hive@wzk.icu",
            "column":[
              "ad_action",
              "hour",
              "place",
              "product_id",
              "cnt",
              "dt"
            ],
            "preSql":[
              "delete from ads_ad_show_place
              where dt='$do_date'"
            ],
            "connection":[
              {
                "jdbcUrl":"jdbc:mysql://h122.wzk.icu:3306/dwads?useUnicode=true&characterEncoding=utf-8",
                "table":[
                  "ads_ad_show_place"
                ]
              }
            ]
          }
        }
      }
    ]
  }
}

写入内容如下所示：
在这里插入图片描述

DataX 简介

DataX 是由阿里巴巴开源的分布式离线数据同步工具，用于解决不同存储系统之间的数据传输问题。它被设计为一种高效、稳定、易扩展的工具，能够适应多种复杂的数据同步需求。

核心特点

支持多种数据源：

  • 关系型数据库： MySQL, PostgreSQL, Oracle, SQL Server, DB2 等。
  • NoSQL 数据库： MongoDB, HBase 等。
  • 大数据存储系统： Hive, MaxCompute (ODPS), HDFS。
  • 其他： FTP 文件、ElasticSearch 等。

高性能：

  • 基于多线程的并行架构，能充分利用机器的多核性能。
  • 支持分片传输，提高数据传输的吞吐量。

灵活性和易用性：

  • 配置文件化：使用 JSON 格式的配置文件定义任务，简单直观。
  • 支持任务调度，可与调度工具集成实现定时任务。
  • 兼容多种数据格式和传输协议。

扩展性：

  • 插件式架构，开发者可以通过编写 Reader 和 Writer 插件支持新的数据源。

开源与社区支持：

  • 基于 Apache 2.0 开源协议，开发者可以自由使用和修改。
  • 拥有活跃的社区和丰富的文档支持。
组成部分

Reader：

  • 负责从数据源中读取数据。
  • 示例：MySQLReader, HdfsReader。

Writer：

  • 负责将数据写入目标存储。
  • 示例：MySQLWriter, HdfsWriter。

Framework：

  • DataX 的核心调度引擎，负责 Reader 和 Writer 的协调工作。
  • 提供错误处理、数据校验、性能优化等功能。

Transform：

  • 用于对传输的数据进行处理和转换（可选）。
  • 例如数据格式的转换、字段的增删改等。
工作流程

初始化：

  • 加载用户配置的 JSON 文件，解析 Reader 和 Writer 的配置。
  • 准备任务上下文。

读取数据：

  • Reader 读取源数据并以批量的方式输出。

转换数据：

  • 可选步骤，Transform 模块对数据进行处理。

写入数据：

  • Writer 接收 Reader 输出的数据并将其写入目标存储。

任务管理与监控：

  • DataX 提供实时的任务运行日志和统计信息，包括速度、成功率、错误信息等。

执行导出

vim /opt/wzk/hive/ads_ad_show_place.sh

写入的内容如下所示：

#!/bin/bash
source /etc/profile
JSON=/opt/wzk/datax
if [ -n "$1" ] ;then
do_date=$1
else
do_date=`date -d "-1 day" +%F`
fi
python $DATAX_HOME/bin/datax.py -p "-Ddo_date=$do_date" $JSON/ads_ad_show_place.json

写入结果如下图：
在这里插入图片描述
执行脚本可以得到结果：

sh /opt/wzk/hive/ads_ad_show_place.sh 2020-07-21

执行过程如下图所示：
在这里插入图片描述

查看结果

执行结束
在这里插入图片描述
查看数据库的结果如下所示：
在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/2272612.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

CTF杂项——[NSSRound#4 SWPU]Pixel_Signin

CTF杂项——[NSSRound#4 SWPU]Pixel_Signin

得到一个像素点 提取像素点 脚本 from PIL import Image result open(1.txt,w) img Image.open("Pixel_Signin.png") img img.convert(RGB) for i in range(31):for j in range(31):r,g,b img.getpixel((j,i))print(r,g,b,end ,fileresult) 运行之后得到 把它…
阅读更多...
Harmony开发【笔记1】报错解决（字段名写错了。。）

Harmony开发【笔记1】报错解决（字段名写错了。。）

在利用axios从网络接收请求时，发现返回obj的code为“-1”，非常不解，利用console.log测试，更加不解，可知抛出错误是 “ E 其他错误: userName required”。但是我在测试时，它并没有体现为空，…
阅读更多...
springCloudGateWay使用总结

springCloudGateWay使用总结

1、什么是网关 功能: ①身份认证、权限验证 ②服务器路由、负载均衡 ③请求限流 2、gateway搭建 2.1、创建一个空项目 2.2、引入依赖 2.3、加配置 3、断言工厂 4、过滤工厂 5、全局过滤器 6、跨域问题
阅读更多...
韩国机场WebGIS可视化集合Google遥感影像分析

韩国机场WebGIS可视化集合Google遥感影像分析

目录 前言 一、相关基础数据介绍 1、韩国的机场信息 2、空间数据准备 二、Leaflet叠加Google地图 1、叠加google地图 2、空间点的标记及展示 3、韩国机场空间分布 三、相关成果展示 1、务安国际机场 2、有同类问题的机场 四、总结 前言 12月29日8时57分左右务安国际机…
阅读更多...
电子电气架构 --- 设计车载充电机的关键考虑因素

电子电气架构 --- 设计车载充电机的关键考虑因素

我是穿拖鞋的汉子，魔都中坚持长期主义的汽车电子工程师。 老规矩，分享一段喜欢的文字，避免自己成为高知识低文化的工程师： 简单，单纯，喜欢独处，独来独往，不易合同频过着接地气的生活，除了生存温饱问题之外，没有什么过多的欲望，表面看起来很高冷，内心热情，如果你身…
阅读更多...
python进阶06：MySQL

python进阶06：MySQL

课后大总结 Day1 一、数据库命令总结 1.连接数据库 连接数据库进入mysql安装目录打开bin文件夹，输入cmd(此命令后无分号)mysql.exe -u root -ppassword命令后输入密码:root 设置密码set passwordpassword("root123"); 查看所有数据库show databases; …
阅读更多...
php反序列化原生态 ctfshow练习 字符串逃逸

php反序列化原生态 ctfshow练习 字符串逃逸

web262 拿着题审计一下 <?php error_reporting(0); class message{public $from;public $msg;public $to;public $tokenuser;public function __construct($f,$m,$t){$this->from $f;$this->msg $m;$this->to $t;} }$f $_GET[f]; $m $_GET[m]; $t $_GET[t…
阅读更多...
探秘前沿科技：RFID 与 NFC，开启智能识别新篇

探秘前沿科技：RFID 与 NFC，开启智能识别新篇

RFID&#xff08;射频识别&#xff09;与NFC&#xff08;近场通信&#xff09;作为两种基于射频技术的无线通信方式&#xff0c;在现代社会中发挥着越来越重要的作用。尽管它们都具备非接触式识别和通信的能力&#xff0c;但在工作原理、应用场景、技术细节等方面存在着显著的差…
阅读更多...
【04】优雅草央千澈详解关于APP签名以及分发-上架完整流程-第四篇安卓APP上架之vivo商店-小米商店，oppo商店，应用宝

【04】优雅草央千澈详解关于APP签名以及分发-上架完整流程-第四篇安卓APP上架之vivo商店-小米商店，oppo商店，应用宝

【04】优雅草央千澈详解关于APP签名以及分发-上架完整流程-第四篇安卓APP上架之vivo商店-小米商店&#xff0c;oppo商店&#xff0c;应用宝 背景介绍 接第三篇上架华为&#xff0c;由于华为商店较为细致&#xff0c;本篇幅介绍其他4类商店相对简要一点&#xff0c;剩下其他更…
阅读更多...
OpenCV计算机视觉 06 图像轮廓检测（轮廓的查找、绘制、特征、近似及轮廓的最小外接圆外接矩形）

OpenCV计算机视觉 06 图像轮廓检测（轮廓的查找、绘制、特征、近似及轮廓的最小外接圆外接矩形）

目录 图像轮廓检测 轮廓的查找 轮廓的绘制 轮廓的特征 面积 周长 根据面积显示特定轮廓 轮廓的近似 给定轮廓的最小外接圆、外接矩形 外接圆 外接矩形 图像轮廓检测 轮廓的查找 API函数 image, contours, hierarchy cv2.findContours(img, mode, method) 代入参…
阅读更多...
ROS2 跨机话题通信问题（同一个校园网账号）

ROS2 跨机话题通信问题（同一个校园网账号）

文章目录 写在前面的话校园网模式&#xff08;失败&#xff09;手机热点模式&#xff08;成功&#xff09; 我的实验细节实验验证1、ssh 用户名IP地址 终端控制2、互相 ping 通 IP3、ros2 run turtlesim turtlesim_node/turtle_teleop_key4、ros2 multicast send/receive5、从机…
阅读更多...
web3与AI结合-Sahara AI 项目介绍

web3与AI结合-Sahara AI 项目介绍

背景介绍 Sahara AI 于 2023 年创立&#xff0c;是一个 "区块链AI" 领域的项目。其项目愿景是&#xff0c;利用区块链和隐私技术将现有的 AI 商业模式去中心化&#xff0c;打造公平、透明、低门槛的 “协作 AI 经济” 体系&#xff0c;旨在重构新的利益分配机制以及…
阅读更多...
【C++】你了解异常的用法吗？

【C++】你了解异常的用法吗？

文章目录 Ⅰ. C语言传统的处理错误的方式Ⅱ. C异常概念Ⅲ. 异常的使用1、异常的抛出和匹配原则2、在函数调用链中异常栈展开匹配原则3、异常的重新抛出4、异常安全5、异常规范 Ⅳ. 自定义异常体系Ⅴ. C标准库的异常体系Ⅵ. 异常的优缺点1、异常的优点2、异常的缺点3、总结 Ⅰ. …
阅读更多...
Matlab仿真径向受压圆盘光弹图像

Matlab仿真径向受压圆盘光弹图像

Matlab仿真径向受压圆盘光弹图像-十步相移法 主要参数 % 定义圆盘参数 R 15; % 圆盘半径&#xff0c;单位&#xff1a;mm h 5; % 圆盘厚度&#xff0c;单位&#xff1a;mm P 300; % 径向受压载荷大小&#xff0c;单位&#xff…
阅读更多...
游戏引擎学习第75天

游戏引擎学习第75天

仓库:https://gitee.com/mrxiao_com/2d_game_2 Blackboard: 处理楼梯通行 为了实现楼梯的平滑过渡和角色的移动控制&#xff0c;需要对楼梯区域的碰撞与玩家的运动方式进行优化。具体的处理方式和遇到的问题如下&#xff1a; 楼梯区域的过渡&#xff1a; 在三维空间中&#x…
阅读更多...
算法的学习笔记—不用常规控制语句求 1 到 n 的和

算法的学习笔记—不用常规控制语句求 1 到 n 的和

&#x1f600;前言 在算法编程中&#xff0c;有时我们会遇到一些特殊的限制条件&#xff0c;这些限制会迫使我们跳出常规思维。本文讨论的问题就是一个典型案例&#xff1a;在不能使用基本控制语句的情况下&#xff0c;如何求解 1 到 n 的和。这个问题不仅考验编程技巧&#xf…
阅读更多...
网络协议安全的攻击手法

网络协议安全的攻击手法

1.使用SYN Flood泛洪攻击&#xff1a; SYN Flood(半开放攻击)是最经典的ddos攻击之一&#xff0c;他利用了TCP协议的三次握手机制&#xff0c;攻击者通常利用工具或控制僵尸主机向服务器发送海量的变源端口的TCP SYN报文&#xff0c;服务器响应了这些报文后就会生成大量的半连…
阅读更多...
141.《mac m1安装mongodb详细教程》

141.《mac m1安装mongodb详细教程》

文章目录 下载从官网下载安装包 下载后双击解压出文件夹安装文件名修改为 mongodb配置data存放位置和日志log的存放位置启动方式一方式二方式二:输入mongo报错以及解决办法 本人电脑 m2 pro,属于 arm 架构 下载 官网地址: mongodb官网 怎么查看自己电脑应该下载哪个版本,输入…
阅读更多...
C++ operator = 返回void 会发生什么？

C++ operator = 返回void 会发生什么？

1.operator 正常情况 #include <iostream> using namespace std;class Box { public:Box(double L) : length(L) {}Box(const Box& b){}Box& operator (const Box&){return *this;}public:double length; // 长度 };int main() {Box box1(1.0);Box box2(…
阅读更多...
Redis中字符串和列表的区别

Redis中字符串和列表的区别

在 Redis 中&#xff0c;字符串&#xff08;String&#xff09;和列表&#xff08;List&#xff09;是两种截然不同的数据类型&#xff0c;它们各自有着独特的特点和适用场景。 数据结构 • 字符串&#xff08;String&#xff09;&#xff1a; • 在 Redis 中&#xff0c;字符串…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023