基于Hadoop平台的电信客服数据的处理与分析①项目准备阶段---项目技术预研(技术架构)

news2024/12/23 4:07:01

任务描述

掌握项目的总体功能,及实现流程。预习项目中所使用到的技术和知识点。

任务指导

一、项目效果展示

二、项目架构

1、总体架构:

2、技术架构

  • 技术清单:

功能

组件

说明

消息中间件Kafka消息队列
数据采集Flume日志采集工具
存储HDFS分布式文件系统
MySQL关系数据库
监控管理调度运维YARN分布式资源调度分配
Zookeeper集群节点协调
项目开发框架Maven项目管理工具
IntelliJ IDEA项目集成开发环境

三、项目主要涉及的技术

1、技术选型:项目的解决方案

    以Maven+IntelliJ IDEA作为开发环境,以Hadoop HDFS、HBase为底层存储,通过分析HBase数据将结果存储在MySQL供前端框架展示。

  • 中间件:Kafka
  • 平台调度:YARN
  • 数据存储,持久化:HDFS、HBase,MySQL
  • 数据可视化:Spring Framework

2、平台总体分为4个层级,按数据流入及数据处理顺序,依次分为

1)数据导入层

数据导入需满足以下要求:

  • 已开启Hadoop HDFS框架环境,已开启Highly Available(HA)高可用。

2)数据存储层

  • 导入的数据统一经过Kafka缓存,以避免数据堵塞保证系统的稳定性。

3)数据分析层

  • 已开启Hadoop YARN框架环境,已开启Highly Available(HA)高可用。

4)应用层

  • 模拟电信呼叫数据保存至本地CallLog.txt文件;
  • Flume推送CallLog.txt文件到Kafka进行缓存;
  • 读取Kafka数据进行预处理并持久化道HBase;
  • 对HBase数据进行分析统计,将结果保存至MySQL供前端Spring Framework查询展示。

四、参考资料

  • 《Linux操作系统》
  • 《Hadoop权威指南:大数据的存储与分析(第4版)》
  • 《Kafka权威指南》
  • 《Redis设计与实现》
  • 《数据可视化技术》

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1887840.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

js获取当前浏览器地址,ip,端口号等等

前言: js获取当前浏览器地址,ip,端口号等等 window.location属性查询 具体属性: 1、获取他的ip地址 window.location.hostname 2、获取他的端口号 window.location.port 3、获取他的全路径 window.location.origin 4、获取…

机器学习 C++ 的opencv实现SVM图像二分类的测试 (三)【附源码】

机器学习 C 的opencv实现SVM图像二分类的测试 (三) 数据集合下载地址&#xff1a;https://download.csdn.net/download/hgaohr1021/89506900 根据上节得到的svm.xml&#xff0c;测试结果为&#xff1a; #include <stdio.h> #include <time.h> #include <o…

25.labview数据采集中的读取和写入文本文件和Excel表格文件

①本文将会讲解labview读取和写入文本文件和Excel文件的几种不同方式&#xff0c;讲解程序的基本原理&#xff0c;并提出具体的实施方案&#xff0c;本文内容如下所示。 ②本文文章结束会提供大家 文本和表格读取写入的源程序 &#xff0c;以便于大家学习和使用。 本文中可能用…

商城小程序论文(设计)开题报告

一、课题的背景和意义 近些年来&#xff0c;随着移动互联网巅峰时期的来临&#xff0c;互联网产业逐渐趋于“小、轻、微”的方向发展&#xff0c;符合轻应用时代特点的各类技术受到了不同领域的广泛关注。在诸多产品中&#xff0c;被誉为“运行着程序的网站”之名的微信小程序…

HUAWEI MPLS 静态配置和动态LDP配置

MPLS(Multi-Protocol Label Switching&#xff0c;多协议标签交换技术)技术的出现&#xff0c;极大地推动了互联网的发展和应用。例如&#xff1a;利用MPLS技术&#xff0c;可以有效而灵活地部署VPN(Virtual Private Network&#xff0c;虚拟专用网)&#xff0c;TE(Traffic Eng…

昇思第7天

模型训练 模型训练一般分为四个步骤&#xff1a; 构建数据集。 定义神经网络模型。 定义超参、损失函数及优化器。 输入数据集进行训练与评估。 数据集加载 import mindspore from mindspore import nn # 从 MindSpore 数据集包中导入 vision 和 transforms 模块。 # visio…

肝癌-图像分类数据集

肝癌-图像分类数据集 数据集&#xff1a; 链接&#xff1a;https://pan.baidu.com/s/18r-JS1FIv6BiyvlqDpUE0w?pwdrw5w 提取码&#xff1a;rw5w 数据集信息介绍&#xff1a; 文件夹 恶性 中的图片数量: 1008 文件夹 良性 中的图片数量: 882 所有子文件夹中的图片总数量: 1…

微软账户和本地账户有什么区别?如何切换登录账户?

Windows 操作系统是目前世界上比较流行的操作系统之一&#xff0c;在使用 Windows 系统的时候都需要我们进行登录&#xff0c;其中我们可以使用微软账户或者本地账户进行登录&#xff0c;那本地账户和微软账户有什么区别&#xff1f;下面就带大家了解一下微软账户和本地账户。 …

请不要在 Vue 中滥用“watch”功能,拜托了!

随着 Vue 3 的 Composition API 风格的普及&#xff0c;使用 watch 的成本越来越低。 现在&#xff0c;我们可以在任何地方使用 watch 来监听响应式数据。随着业务的推进&#xff0c;你可能会在代码中看到大量的 watch。 当你接手修改这些充满 watch 代码时&#xff0c;我相信…

电梯修理升级,安装【电梯节能】能量回馈设备

电梯修理升级&#xff0c;安装【电梯节能】能量回馈设备 1、节能率评估 15%—45% 2、降低机房环境温度&#xff0c;改善电梯控制系统的运行环境&#xff1b; 3、延长电梯使用寿命&#xff1b; 4、机房可以不需要使用空调等散热设备的耗电&#xff0c;间接节省电能。 欢迎私询哦…

使用PID算法实现DAC模拟量输出的快速调节

目录 概述 1 系统框架和算法 1.1 框架结构介绍 1.2 PID算法实现 1.2.1 理论介绍 1.2.2 离散化位置式PID 1.2.3 位置式PID算法 2 STM32Cube 配置项目 2.1 配置参数 2.2 GENERATE项目 3 功能实现 3.1 ADC采样数据功能 3.2 DAC数据转换 3.3 PID相关的调制函数 4 …

黄子韬vs徐艺洋卫生间风波

【热搜爆点】黄子韬VS徐艺洋&#xff1a;卫生间风波背后的职场与友情界限探讨在这个充满欢笑与意外的综艺时代&#xff0c;《跟我出游吧》再次以它独有的魅力&#xff0c;引爆了一个既尴尬又引人深思的话题——“黄子韬要上徐艺洋的卫生间&#xff1f;”这不仅仅是一句简单的调…

CSS|03 尺寸样式属性文本与字体属性

尺寸样式属性 height:元素高度height的值&#xff1a;auto 自动length 使用px定义高度% 基于包含它的块级对象的百分比高度 width&#xff1a;元素的宽度width的值与height一样span标签可以设置宽度、高度吗&#xff1f; 答&#xff1a;不可以&#xff0c;因为span标签是一个行…

mysql-sql-第十四周

学习目标&#xff1a; sql 学习内容&#xff1a; 40.查询学过「哈哈」老师授课的同学的信息 Select * from students left join score on students.stunmscore.stunm where counm (select counm from teacher left join course on teacher.teanmcourse.teanm where teache…

DCU整体硬件架构

DCU整体硬件架构 DCU整体硬件架构 首先&#xff0c;DCU通过PCI-E总线与CPU处理器相连&#xff0c;它是CPU主机系统的一个硬件扩展&#xff0c;其存在的目的是为了对程序某些模块或者函数进行加速。虽然DCU是原硬件系统的一个扩展&#xff0c;接受CPU调度指挥&#xff0c;但是在…

西部智慧健身小程序+华为运动健康服务

1、 应用介绍 西部智慧健身小程序为用户提供一站式全流程科学健身综合服务。用户通过登录微信小程序&#xff0c;可享用健康筛查、运动风险评估、体质检测评估、运动处方推送、个人运动数据监控与评估等公益服务。 2、 体验介绍西部智慧健身小程序华为运动健康服务核心体验如…

认识流式处理框架Apache Flink

目录 一、Apache Flink 的基础概念 1.1 Apache Flink是什么&#xff1f; 1.2 Flink的定义 二、Apache Flink 的发展史 2.1 Flink前身Stratosphere 2.2 Flink发展时间线及重大变更 三、Flink核心特性 3.1 批流一体化 3.2 同时支持高吞吐、低延迟、高性能 3.3 支持事件时…

前端接入chatgpt,实现流式文字的显示

前端接入chatgpt,实现流式文字的显示 业务需求&#xff1a; 项目需要接入chatgpt提供的api&#xff0c;后端返回流式的字符&#xff0c;前端接收并实时显示。 相关技术原理&#xff1a; 1. JS中的Stream流: 在JavaScript中&#xff0c;使用Stream流通常指的是处理数据流的…

react native中使用@react-navigation/native进行自定义头部

react native中使用react-navigation/native进行自定义头部 效果示例图实例代码 效果示例图 实例代码 /* eslint-disable react-native/no-inline-styles */ /* eslint-disable react/no-unstable-nested-components */ import React, { useLayoutEffect } from react; import…

ripro子主题eeesucai-child集成后台美化包(适用于设计素材站+资源下载站等)

模板介绍 最新RiPro子主题模板&#xff0c;Eeesucai-child模板后台美化包&#xff0c;使用该子主题前需要安装WordPress程序和RiPro模板。 安装教程 第一种&#xff0c;在wordpress后台上传主题&#xff0c;上传之后点启动 第二种&#xff0c;上传到wordpress主题目录/wp-con…