助力工业物联网，工业大数据项目之数据采集

news2024/11/19 20:29:37

文章目录

    • 01：Sqoop命令回顾
    • 02：YARN资源调度及配置
    • 03：MR的Uber模式
    • 04：Sqoop采集数据格式问题
    • 05：问题解决：Avro格式
    • 06：Sqoop增量采集方案回顾

01：Sqoop命令回顾

  • 目标：掌握Sqoop常用命令的使用

  • 路径

    • step1：语法
    • step2：数据库参数
    • step3：导入参数
    • step4：导出参数
    • step5：其他参数

  • 实施

    • 语法

      sqoop import | export \
--数据库连接参数
--HDFS或者Hive的连接参数
--配置参数

    • 数据库参数

      • –connect jdbc:mysql://hostname:3306
      • –username
      • –password
      • –table
      • –columns
      • –where
      • -e/–query

    • 导入参数

      • –delete-target-dir
      • –target-dir
      • –hcatalog-database
      • –hcatalog-table

    • 导出参数

      • –export-dir
      • –hcatalog-database
      • –hcatalog-table

    • 其他参数

      • -m

    • 连接Oracle语法

      --connect jdbc:oracle:thin:@OracleServer:OraclePort:OracleSID

    • 测试采集Oracle数据

      • 进入

        docker exec -it sqoop bash

      • 测试

        sqoop import \
--connect jdbc:oracle:thin:@oracle.bigdata.cn:1521:helowin \
--username ciss \
--password 123456 \
--table CISS4.CISS_BASE_AREAS \
--target-dir /test/full_imp/ciss4.ciss_base_areas \
--fields-terminated-by "\t" \
-m 1

      • 查看结果

        image-20210822094343047

  • 小结

    • 掌握Sqoop常用命令的使用

02：YARN资源调度及配置

  • 目标：实现YARN的资源调度配置

  • 实施

    • 常用端口记住：排错

      • NameNode：8020,50070
      • ResourceManager：8032,8088
      • JobHistoryServer：19888
      • Master：7077,8080
      • HistoryServer：18080

    • YARN调度策略

      • FIFO：不用
        • 单队列，队列内部FIFO，所有资源只给一个程序运行
      • Capacity：Apache
        • 多队列，队列内部FIFO，资源分配给不同的队列，队列内部所有资源只给一个程序运行
      • Fair：CDH
        • 多队列，队列内部共享资源，队列内部的资源可以给多个程序运行

    • YARN面试题

      • 程序提交成功，但是不运行而且不报错，什么问题，怎么解决？
        • 资源问题：APPMaster就没有启动
        • 环境问题
          • NodeManager进程问题：进程存在，但不工作
          • 机器资源不足导致YARN或者HDFS服务停止：磁盘超过90%，所有服务不再工作
          • 解决：实现监控告警：80%，邮件告警
      • YARN中程序运行失败的原因遇到过哪些？
        • 代码逻辑问题
        • 资源问题：Container
          • Application / Driver：管理进程
          • MapTask和ReduceTask / Executor：执行进程
        • 解决问题：配置进程给定更多的资源

    • 问题1：程序已提交YARN，但是无法运行，报错：Application is added to the scheduler and is not activated. User’s AM resource limit exceeded.

      yarn.scheduler.capacity.maximum-am-resource-percent=0.8
      • 配置文件：${HADOOP_HOME}/etc/hadoop/capacity-scheduler.xml
      • 属性功能：指定队列最大可使用的资源容量大小百分比，默认为0.2，指定越大，AM能使用的资源越多

    • 问题2：程序提交，运行失败，报错：无法申请Container

      yarn.scheduler.minimum-allocation-mb=512
      • 配置文件：${HADOOP_HOME}/etc/hadoop/yarn-site.xml
      • 属性功能：指定AM为每个Container申请的最小内存，默认为1G，申请不足1G，默认分配1G，值过大，会导致资源不足，程序失败，该值越小，能够运行的程序就越多

    • 问题3：怎么提高YARN集群的并发度？

      • 物理资源、YARN资源、Container资源、进程资源

      • YARN资源配置

        yarn.nodemanager.resource.cpu-vcores=8
yarn.nodemanager.resource.memory-mb=8192

      • Container资源

        yarn.scheduler.minimum-allocation-vcores=1
yarn.scheduler.maximum-allocation-vcores=32
yarn.scheduler.minimum-allocation-mb=1024
yarn.scheduler.maximum-allocation-mb=8192

      • MR Task资源

        mapreduce.map.cpu.vcores=1
mapreduce.map.memory.mb=1024
mapreduce.reduce.cpu.vcores=1
mapreduce.reduce.memory.mb=1024

      • Spark Executor资源

        --driver-memory  #分配给Driver的内存，默认分配1GB
--driver-cores   #分配给Driver运行的CPU核数，默认分配1核
--executor-memory #分配给每个Executor的内存数，默认为1G，所有集群模式都通用的选项
--executor-cores  #分配给每个Executor的核心数，YARN集合和Standalone集群通用的选项
--total-executor-cores NUM  #Standalone模式下用于指定所有Executor所用的总CPU核数
--num-executors NUM #YARN模式下用于指定Executor的个数，默认启动2个

    • 实现：修改问题1中的配置属性

      • 注意：修改完成，要重启YARN

        image-20210928200550336

      [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-jgRIa2kT-1673426702988)(Day2_数仓设计及数据采集.assets/image-20210822085238536.png)]

​

  • 小结

    • 实现YARN的资源调度配置

03：MR的Uber模式

  • 目标：了解MR的Uber模式的配置及应用

  • 实施

    • Spark为什么要比MR要快

      • MR慢

    • 只有Map和Reduce阶段，每个阶段的结果都必须写入磁盘

      • 如果要实现Map1 -> Map2 -> Reduce1 -> Reduce2

      • Mapreduce1：Map1

      • MapReduce2：Map2 -> Reduce1

      • Mapreduce3：Reduce2

    • MapReduce程序处理是进程级别：MapTask进程、ReduceTask进程

    • 问题：MR程序运行在YARN上时，有一些轻量级的作业要频繁的申请资源再运行，性能比较差怎么办？

      • Uber模式

    • 功能：Uber模式下，程序只申请一个AM Container：所有Map Task和Reduce Task，均在这个Container中顺序执行

      image-20210822091155998

      • 默认不开启

    • 配置：${HADOOP_HOME}/etc/hadoop/mapred-site.xml

      mapreduce.job.ubertask.enable=true
#必须满足以下条件
mapreduce.job.ubertask.maxmaps=9
mapreduce.job.ubertask.maxreduces=1
mapreduce.job.ubertask.maxbytes=128M
yarn.app.mapreduce.am.resource.cpu-vcores=1
yarn.app.mapreduce.am.resource.mb=1536M

    • 特点

      • Uber模式的进程为AM，所有资源的使用必须小于AM进程的资源
      • Uber模式条件不满足，不执行Uber模式
      • Uber模式，会禁用推测执行机制

  • 小结

    • 了解MR的Uber模式的配置及应用

04：Sqoop采集数据格式问题

  • 目标：掌握Sqoop采集数据时的问题

  • 路径

    • step1：现象
    • step2：问题
    • step3：原因
    • step4：解决

  • 实施

    • 现象

      • step1：查看Oracle中CISS_SERVICE_WORKORDER表的数据条数

        select count(1) as cnt from CISS_SERVICE_WORKORDER;

      • step2：采集CISS_SERVICE_WORKORDER的数据到HDFS上

      sqoop import
      –connect jdbc:oracle:thin:@oracle.bigdata.cn:1521:helowin
      –username ciss
      –password 123456
      –table CISS4.CISS_SERVICE_WORKORDER
      –delete-target-dir
      –target-dir /test/full_imp/ciss4.ciss_service_workorder
      –fields-terminated-by “\001”
      -m 1

      
- step3：Hive中建表查看数据条数

- 进入Hive容器

  ```
docker exec -it hive bash
  ```

- 连接HiveServer

  ```
  beeline -u jdbc:hive2://hive.bigdata.cn:10000 -n root -p 123456
  ```

- 创建测试表

  ```sql
  create external table test_text(
  line string
  )
  location '/test/full_imp/ciss4.ciss_service_workorder';
  ```

- 统计行数

  ```
  select count(*) from test_text;
  ```

    • 问题：Sqoop采集完成后导致HDFS数据与Oracle数据量不符

    • 原因

      • sqoop以文本格式导入数据时，默认的换行符是特殊字符

      • Oracle中的数据列中如果出现了\n、\r、\t等特殊字符，就会被划分为多行

      • Oracle数据

        id			name				age
001			zhang\nsan			18

      • Sqoop遇到特殊字段就作为一行

        001			zhang
san			18

      • Hive

        id			name				age
001			zhang 
san			18

    • 解决

      • 方案一：删除或者替换数据中的换行符
        • –hive-drop-import-delims：删除换行符
        • –hive-delims-replacement char：替换换行符
        • 不建议使用：侵入了原始数据
      • 方案二：使用特殊文件格式：AVRO格式

  • 小结

    • 掌握Sqoop采集数据时的问题

05：问题解决：Avro格式

  • 目标：掌握使用Avro格式解决采集换行问题

  • 路径

    • step1：常见格式介绍
    • step2：Avro格式特点
    • step3：Sqoop使用Avro格式
    • step4：使用测试

  • 实施

    • 常见格式介绍

      类型介绍
      TextFileHive默认的文件格式，最简单的数据格式，便于查看和编辑，耗费存储空间，I/O性能较低
      SequenceFile含有键值对的二进制文件，优化磁盘利用率和I/O，并行操作数据，查询效率高，但存储空间消耗最大
      AvroFile特殊的二进制文件，设计的主要目标是为了满足schema evolution，Schema和数据保存在一起
      OrcFile列式存储，Schema存储在footer中，不支持schema evolution，高度压缩比并包含索引，查询速度非常快
      ParquetFile列式存储，与Orc类似，压缩比不如Orc，但是查询性能接近，支持的工具更多，通用性更强
      • SparkCore缺点：RDD【数据】：没有Schema
      • SparkSQL优点：DataFrame【数据 + Schema】
      • Schema：列的信息【名称、类型】

    • Avro格式特点

      • 优点
        • 二进制数据存储，性能好、效率高
        • 使用JSON描述模式，支持场景更丰富
        • Schema和数据统一存储，消息自描述
        • 模式定义允许定义数据的排序
      • 缺点
        • 只支持Avro自己的序列化格式
        • 少量列的读取性能比较差，压缩比较低
      • 场景：基于行的大规模结构化数据写入、列的读取非常多或者Schema变更操作比较频繁的场景

    • Sqoop使用Avro格式

      • 选项

        --as-avrodatafile                                     Imports data to Avro datafiles

      • 注意：如果使用了MR的Uber模式，必须在程序中加上以下参数避免类冲突问题

        -Dmapreduce.job.user.classpath.first=true

    • 使用测试

      sqoop import \
-Dmapreduce.job.user.classpath.first=true \
--connect jdbc:oracle:thin:@oracle.bigdata.cn:1521:helowin \
--username ciss \
--password 123456 \
--table CISS4.CISS_SERVICE_WORKORDER \
--delete-target-dir \
--target-dir /test/full_imp/ciss4.ciss_service_workorder \
--as-avrodatafile \
--fields-terminated-by "\001" \
-m 1

      • Hive中建表

        • 进入Hive容器

          docker exec -it hive bash

        • 连接HiveServer

          beeline -u jdbc:hive2://hive.bigdata.cn:10000 -n root -p 123456

        • 创建测试表

          create external table test_avro(
line string
)
stored as avro
location '/test/full_imp/ciss4.ciss_service_workorder';

        • 统计行数

          select count(*) from test_avro;

  • 小结

    • 掌握如何使用Avro格式解决采集换行问题

06：Sqoop增量采集方案回顾

  • 目标：回顾Sqoop增量采集方案

  • 路径

    • step1：Append
    • step2：Lastmodified
    • step3：特殊方式

  • 实施

    • Append

      • 要求：必须有一列自增的值，按照自增的int值进行判断

      • 特点：只能导入增加的数据，无法导入更新的数据

      • 场景：数据只会发生新增，不会发生更新的场景

      • 代码

        sqoop import \
--connect jdbc:mysql://node3:3306/sqoopTest \
--username root \
--password 123456 \
--table tb_tohdfs \
--target-dir /sqoop/import/test02 \
--fields-terminated-by '\t' \
--check-column id \
--incremental append \
--last-value 0 \
-m 1

      • Lastmodified

        • 要求：必须包含动态时间变化这一列，按照数据变化的时间进行判断

        • 特点：既导入新增的数据也导入更新的数据

        • 场景：一般无法满足要求，所以不用

        • 代码

          sqoop import \
--connect jdbc:mysql://node3:3306/sqoopTest \
--username root \
--password 123456 \
--table tb_lastmode \
--target-dir /sqoop/import/test03 \
--fields-terminated-by '\t' \
--incremental lastmodified \
--check-column lastmode \
--last-value '2021-06-06 16:09:32' \
-m 1

      • 特殊方式

        • 要求：每次运行的输出目录不能相同

        • 特点：自己实现增量的数据过滤，可以实现新增和更新数据的采集

        • 场景：一般用于自定义增量采集每天的分区数据到Hive

        • 代码

          sqoop  import \
--connect jdbc:mysql://node3:3306/db_order \
--username root \
--password-file file:///export/data/sqoop.passwd \
--query "select * from tb_order where substring(create_time,1,10) = '2021-09-14' or substring(update_time,1,10) = '2021-09-14' and \$CONDITIONS " \
--delete-target-dir \
--target-dir /nginx/logs/tb_order/daystr=2021-09-14 \
--fields-terminated-by '\t' \
-m 1

  • 小结

    • 回顾Sqoop增量采集方案

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/157012.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

TypeScript环境搭建 下载/安装 ,编译运行的三种方式：tsc命令行/tsc-node库/webpack搭建环境

TypeScript环境搭建 下载/安装 ,编译运行的三种方式：tsc命令行/tsc-node库/webpack搭建环境

目录 什么是TypeScript? 首先来进行全局安装 ： 编译运行 方式一：命令行(cmd终端)--->tsc命令行 1.将代码编译为JavaScript的代码，使用cmd终端或者命令行运行以下命令： 2.在浏览器或者Node环境下运行JavaScript代码 方式…
阅读更多...
声纹识别与声源定位（一）

声纹识别与声源定位（一）

针对目前智能计算机及大规模数据的发展，依据大脑处理语音、图像数据方法的deep learning技术应运而生。deep learning技术是应用于音频信号识别，模仿大脑的语音信号学习、识别的模式。在音频信号处理的过程中，运用deep learning进行音频数据的…
阅读更多...
极海APM32F072RB开发环境测试

极海APM32F072RB开发环境测试

极海APM32F072RB开发环境测试通过自制的开发板进行测试。 🎬基于STM32cubemx工程配置 Keil MDK编译 ST-LINK/V2烧录 🌻基于APM32F0xx_SDK Keil MDK编译 ST-LINK/V2烧录 🌿官方的SDK包下载地址：https://www.geehy.com/support/…
阅读更多...
DMDW主备集群搭建备库先open引发的问题

DMDW主备集群搭建备库先open引发的问题

一、问题描述及配置主备集群搭建成功后，主备库启动脚本中START_MODEmount，备库的lsn号大于等于备库，N_OPN打开次数主库大于备库。假如搭建主备集群后，备库首先OPEN一下后引发的问题如下图：启动脚本中START_MODEopen3、…
阅读更多...
tcp紧急指针,mss,rto，零窗口探测等

tcp紧急指针,mss,rto，零窗口探测等

三次握手、四次挥手、重传机制、滑动窗口、流量控制、拥塞控制、TCP/UDP全解析-蒲公英云 (dandelioncloud.cn)(511条消息) TCP零窗口探测_redwingz的博客-CSDN博客_tcp0窗口TCP系列32—窗口管理&流控—6、TCP zero windows和persist timer - 走看看 (zoukankan.com)TCP协议…
阅读更多...
VUE-Axios-解决跨域问题.

VUE-Axios-解决跨域问题.

vue-axios跨域问题发现: https://github.com/Aealen/TopicSelection-VUE 使用vue-axios向后端发送请求的时候遇到如下报错: vue-axios跨域问题原因: 什么是跨域 **跨域：**指的是浏览器不能执行其他网站的脚本。它是由浏览器的同源策略造成的，是浏览器…
阅读更多...
从零开始编写一个上位机（串口助手）QT Creator + Python

从零开始编写一个上位机（串口助手）QT Creator + Python

提示：本博客作为学习笔记，有错误的地方希望指正，此文可能会比较长，作为学习笔记的积累，希望对来着有帮助。   绪论：笔者这里使用的是QTCreator和Python来实现一个简单的串口上位机的开发的简单过程&#…
阅读更多...
软件测试复习02：静态测试

软件测试复习02：静态测试

作者：非妃是公主 专栏：《软件测试》 个性签：顺境不惰，逆境不馁，以心制境，万事可成。——曾国藩 文章目录评审评审过程角色和职责评审类型静态分析控制流分析数据流分析编码标准一致性检查桌面检查代码走查…
阅读更多...
Unity 之 资源加载 -- 可寻址系统面板介绍 -- 入门（二）

Unity 之 资源加载 -- 可寻址系统面板介绍 -- 入门（二）

可寻址系统面板介绍 -- 入门（二）一，可寻址系统目录介绍1.2 创建分组1.2 目录介绍二，可寻址系统设置介绍2.1 Profile - 配置文件2.2 Catalog - 目录2.3 Content Update - 内容更新2.4 Downloads - 下载2.5 Build - 构建2.6 Build a…
阅读更多...
69. 单发多框检测（SSD）代码实现以及QA

69. 单发多框检测（SSD）代码实现以及QA

之前，我们分别介绍了边界框、锚框、多尺度目标检测和用于目标检测的数据集。 现在我们已经准备好使用这样的背景知识来设计一个目标检测模型：单发多框检测（SSD） 。该模型简单、快速且被广泛使用。尽管这只是其中一种目标检测模型&…
阅读更多...
Filebeat从入门到实战

Filebeat从入门到实战

文章目录Filebeat的概念简介Filebeat特点Filebeat与Logstash对比Filebeat安装安装地址Logstash部署安装Filebeat实战对接LogstashFilebeat模块使用（配置Kafka）对接ES案例展示对接Kafka案例展示总结Filebeat的概念 简介 Filebeat是一种轻量型日志采集器…
阅读更多...
【GP学习笔记三】锁与死锁

【GP学习笔记三】锁与死锁

锁 一、概述 在GP中，定义了三种锁 自旋锁（Spinlocks）轻量级锁（LWLocks）普通锁（Regular locks，也叫重量级锁） 自旋锁 与互斥锁有点类似。针对某一项资源，在任何时刻&…
阅读更多...
《Dubbo源码剖析与实战》学习笔记 Day6

《Dubbo源码剖析与实战》学习笔记 Day6

问题引出，从dubbo2升级到了dubbo3版本，出现了一些消费方调用超时的现象，通过日志发现异常信息中的timeout竟然是1000ms，明明在暴漏接口的时候指定了超时时间，为什么没有生效。 经过debug分析调试后，找到了…
阅读更多...
基础2-用卷积神经网络进行颅内和头皮脑电图数据分析的广义癫痫预测

基础2-用卷积神经网络进行颅内和头皮脑电图数据分析的广义癫痫预测

A Generalised Seizure Prediction with Convolutional Neural Networks for Intracranial and Scalp Electroencephalogram Data Analysis 为了改善耐药癫痫和强直性癫痫患者的生活，癫痫预测作为最具挑战性的预测数据分析工作之一已引起越来越多的关注。许多杰出的…
阅读更多...
excel图表整形：如何提升条形图的颜值

excel图表整形：如何提升条形图的颜值

提交给老板的报告总少不了要用到图表，比如下面这个业务员销售增长率的报表，老板要求用条形图来呈现出每个人的增长率：直接用Excel自带的图表模板做出来是这样的效果：这个图看起来总有点别扭，如果能做成下面这个样子就好…
阅读更多...
《HTML简单入门》

《HTML简单入门》

目录 前言 HTML基本知识 简单示例 HTML标签 单标签 HTML元素 HTML属性 HTML入门知识 HTML头部 title style meta link script noscript base HTML标题 h HTML段落 p HTML文本格式化 加粗 加重 倾斜 强调 下划线 删除线 小号字体 下标 上标 水…
阅读更多...
Android组件——Service

Android组件——Service

一、多任务实现的基本原理 默认情况下，同一个应用程序的所有组件都运行在同一个进程中，大部分应用程序是按这种方式运行的在具体应用中需要通过设置mainifest文件中组件的android:process属性，是该组件运行在不同的进程中元素也支持android:…
阅读更多...
strapi系列-如何创建一个定时任务-Cron Jobs

strapi系列-如何创建一个定时任务-Cron Jobs

Cron 是什么？ Cron 有多种用途。 Cron Jobs 用于安排服务器上的任务运行。它们最常用于自动化系统管理或维护。然而,它们也与 Web 应用程序的构建相关。 Web 应用程序可能需要在各种情况下定期执行特定操作。 为什么使用 Cron ？ 定期进行的计划活动,C…
阅读更多...
【SpringMVC】异常处理

【SpringMVC】异常处理

目录 一、基本介绍 二、局部异常 三、全局异常 四、自定义异常 五、统一处理异常 六、异常处理流程 相关文章（可以关注我的SpringMVC专栏） SpingMVC专栏SpingMVC专栏一、基本介绍如果我们对异常不做任何处理的话，那么他就会返回500错误&…
阅读更多...
list底层实现

list底层实现

目录 引言 结构形式 整体框架 插入删除接口实现 析构函数、拷贝构造、赋值重载 const迭代器实现 取得链表长度的方式 迭代器前置\后置operator -- 以及operator-> 引言 list是非常常用的一个容器，数据结构是链表，数据空间是以链式结构存储的…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023