大数据技术概述

news2024/11/15 5:09:28

4v特点

volume（体量大）
velocity（处理速度快）
variety（数据类型多）
value（价值密度低）

核心设计理念

并行化
规模经济
虚拟化
分布式系统满足需求

在这里插入图片描述

系统架构

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

大数据处理流程

采集数据

在这里插入图片描述
结构化数据：可用二维表表示
非结构化数据：声音、图像、视频
半结构化数据：xml文档

  • 爬虫采集数据
    scrapy
    在这里插入图片描述

在这里插入图片描述

  • 感知设备数据采集
    在这里插入图片描述
    在这里插入图片描述
  • 分布式数据采集系统

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

  • 系统架构
    在这里插入图片描述
    在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

  • 定向数据采集
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

在这里插入图片描述

  • 采集算法类型

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

  • 网络数据采集

在这里插入图片描述
模型层：从数据库中获取相关的数据
控制层：负责处理用户的请求
视图层：负责把数据显示在页面上

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

处理数据

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

  • 数据清洗
    在这里插入图片描述
    在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
整个数据集来看是离群点；
从邻域来看是离群点；

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

  • 数据集成
    在这里插入图片描述

在这里插入图片描述

  • 数据转换
    在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

  • 数据归约

在这里插入图片描述

在这里插入图片描述

  • 数据处理任务
    在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

大数据相关技术

在这里插入图片描述
2、分布式处理技术

在这里插入图片描述

大数据处理方法

在这里插入图片描述

  • 分类步骤

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

  • 聚类步骤
    在这里插入图片描述

在这里插入图片描述

  • 关联分析任务
    在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

OLAP(联机分析处理)
在这里插入图片描述

在这里插入图片描述

大数据计算框架

在这里插入图片描述
在这里插入图片描述

批处理系统

在这里插入图片描述
在这里插入图片描述

MapReduce处理过程

在这里插入图片描述
在这里插入图片描述

流处理系统

在这里插入图片描述
在这里插入图片描述

流处理模式

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

混合处理系统

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

大数据应用框架

在这里插入图片描述

  • 通用大数据应用架构
    在这里插入图片描述
  • 混搭大数据应用架构

在这里插入图片描述

在这里插入图片描述

大数据框架技术

在这里插入图片描述
在这里插入图片描述

  • 日志收集器fluentd
    在这里插入图片描述
    在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

数据挖掘技术

在这里插入图片描述

  • 学习类型

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/2089926.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

找论文的方法：如何找到本领域研究方向所需要的论文进行泛读和精读？

找论文的方法：如何找到本领域研究方向所需要的论文进行泛读和精读？

1、参考其他研究者给出的该领域的reading lists： 例如，在异配图神经网络领域： Awesome Resource on Graph Neural Networks With Heterophily：https://github.com/alexfanjn/Graph-Neural-Networks-With-Heterophily 在图对抗攻…
阅读更多...
快速掌握GPTEngineer：用AI创建网页应用的实用教程

快速掌握GPTEngineer：用AI创建网页应用的实用教程

今天来聊聊一个非常有趣的工具——GPTEngineer。这是一个基于AI的网页开发平台，特别适合那些不熟悉编程但又想快速创建网页应用的人。如果你想用简单的文本描述来生成一个网站或者应用，GPTEngineer可能就是你需要的。我们一步步看看如何使用它。 1. 了解…
阅读更多...
Guava Cache实现原理及最佳实践

Guava Cache实现原理及最佳实践

本文内容包括Guava Cache的使用、核心机制的讲解、核心源代码的分析以及最佳实践的说明。 概要 Guava Cache是一款非常优秀本地缓存，使用起来非常灵活，功能也十分强大。Guava Cache说简单点就是一个支持LRU的ConcurrentHashMap，并提供了基于…
阅读更多...
Java面试宝典-java基础08

Java面试宝典-java基础08

Java面试宝典-java基础08 71、BIO、NIO、AIO有哪些应用场景72、简述一下BIO的编程流程73、NIO的三大核心部分是什么？74、NIO中buffer的四大属性是什么？75、对比一下BIO和NIO？76、FileChannel是做什么的？77、简述一下Selector选择器…
阅读更多...
51单片机-矩阵键盘（基于LC602）

51单片机-矩阵键盘（基于LC602）

时间&#xff1a;2024.8.30 作者&#xff1a;Whappy 目的&#xff1a;手撕51&#xff08;第二遍&#xff09; 代码&#xff1a; main.c #include <REGX52.H> #include "LCD1602.h" #include "Delay.h" #include "MatrixKey.h"unsigned…
阅读更多...
【Canvas与艺术】录王昌龄诗《从军行之四》

【Canvas与艺术】录王昌龄诗《从军行之四》

【成图】 【代码】 <!DOCTYPE html> <html lang"utf-8"> <meta http-equiv"Content-Type" content"text/html; charsetutf-8"/> <head><title>出塞青海长云暗雪山</title><style type"text/css&quo…
阅读更多...
opencv实战项目十六：kmeans图像颜色聚类：

opencv实战项目十六：kmeans图像颜色聚类：

文章目录 前言K-means介绍效果 前言 在数字化时代&#xff0c;图像处理技术已成为计算机视觉领域的重要组成部分。其中&#xff0c;图像颜色聚类作为一项关键技术在众多应用场景中发挥着重要作用&#xff0c;如图像分割、物体识别、色彩调整等。K-means算法作为一种经典的聚类…
阅读更多...
Java性能优化传奇之旅--Java万亿级性能优化之电商平台高峰时段性能大作战：策略与趋势洞察

Java性能优化传奇之旅--Java万亿级性能优化之电商平台高峰时段性能大作战：策略与趋势洞察

&#x1f496;&#x1f496;&#x1f496;亲爱的朋友们&#xff0c;热烈欢迎你们来到 青云交的博客&#xff01;能与你们在此邂逅&#xff0c;我满心欢喜&#xff0c;深感无比荣幸。在这个瞬息万变的时代&#xff0c;我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而 我的…
阅读更多...
Redis基础知识学习（入门篇）

Redis基础知识学习（入门篇）

文章目录 五大数据结构一. String: 字符串二. Hash: 散列概念性质 三. List: 列表四. Set: 集合特点 五. Sorted Set: 有序集合 五大数据结构 一. String: 字符串 数据结构中&#xff0c;字符串要单独用一种存储结构来存储&#xff0c;称为串存储结构。这里的串指的就是字符串…
阅读更多...
性能分析之使用 Jvisualvm dump 分析示例

性能分析之使用 Jvisualvm dump 分析示例

一、前言 在 JMeter 入门系列中相信大家对工具使用已经没问题&#xff0c;今天开起性能测试进阶系列之 jvisualvm 工具简单学习&#xff0c;目标是通过演示 Jvisualvm 工具定位代码&#xff0c;帮助性能测试工程师直接定位代码位置&#xff0c;协助开发解决性能问题&#xff1…
阅读更多...
Flink CDC MySQL数据同步到Doris表同步配置生成工具类

Flink CDC MySQL数据同步到Doris表同步配置生成工具类

工具类 生成的配置 要同步表为&#xff1a; customer_user.tb_business_user_info express.route_push_service 请提前自行到doris中建好目标数据库&#xff0c;如果没有会报错 同步的配置文件如下&#xff1a;&#xff08;将配置内容保存为xxx.yaml文件到flink cdc提交任务&…
阅读更多...
昇腾 Ascend 概念澄清 Host、Device、AI core、AI CPU、DVPP、AIPP、AscendCL、AscendC

昇腾 Ascend 概念澄清 Host、Device、AI core、AI CPU、DVPP、AIPP、AscendCL、AscendC

昇腾 Ascend 概念澄清 Host、Device、AI core、AI CPU、DVPP、AIPP、AscendCL、AscendC flyfish Ascend C开发算子&#xff0c;偏低。 AscendCL开发应用&#xff0c;偏高。 AI core、AI CPU、DVPP都属于计算资源。 Ascend C开发的算子运行在AI Core上。 AIPP用于在AI Core上完…
阅读更多...
TimeWheel算法介绍及在应用上的探索

TimeWheel算法介绍及在应用上的探索

作者&#xff1a;来自 vivo 互联网服务器团队- Li Fan 本文从追溯时间轮算法的出现&#xff0c;介绍了时间轮算法未出现前&#xff0c;基于队列的定时任务实现&#xff0c;以及基于队列的定时任务实现所存在的缺陷。接着我们介绍了时间轮算法的算法思想及其数据结构&#xff0c…
阅读更多...
手撕数据结构与算法——拓扑排序

手撕数据结构与算法——拓扑排序

拓扑排序是图论中的一个重要概念&#xff0c;它在许多领域如任务调度、课程规划等都有广泛的应用。在这篇文章中&#xff0c;我们将探讨拓扑排序的基本概念、算法实现以及在C/C中的实现方法。 拓扑排序简介 拓扑排序是针对有向无环图&#xff08;DAG&#xff09;的一种排序算法…
阅读更多...
二叉树（数据结构）

二叉树（数据结构）

1.两种特殊的二叉树 1. 满二叉树 : 一棵二叉树&#xff0c;如果 每层的结点数都达到最大值&#xff0c;则这棵二叉树就是满二叉树 。也就是说&#xff0c; 如果一棵 二叉树的层数为 K &#xff0c;且结点总数是2^k-1 &#xff0c;则它就是满二叉树 。 2. 完全二叉树 : 完…
阅读更多...
为你的LLM应用增加记忆能力

为你的LLM应用增加记忆能力

1. 记忆系统的重要性 我们都知道&#xff0c;大模型本身是无状态、无记忆的。默认情况下&#xff0c;我们向大模型发起的每次提问&#xff0c;在其内部都会被视为一次全新的调用。尽管诸如 ChatGPT 等聊天应用内置了部分记忆功能&#xff0c;可以记录用户最近几轮的聊天信息&a…
阅读更多...
ChatTTS容器构建教程

ChatTTS容器构建教程

一、模型介绍 ChatTTS 是专门为对话场景设计的文本转语音模型&#xff0c;例如 LLM 助手对话任务。它支持英文和中文两种语言。最大的模型使用了 10 万小时以上的中英文数据进行训练。在 HuggingFace 中开源的版本为 4 万小时训练且未 SFT 的版本。 ChatTTS WebUI如下&#x…
阅读更多...
【单片机原理及应用】实验：LED循环控制

【单片机原理及应用】实验：LED循环控制

目录 一、实验目的 二、实验内容 三、实验步骤 四、记录与处理 五、思考 六、成果文件提取链接 一、实验目的 熟悉Proteus x8原理图与C51程序的联合仿真调试方法&#xff0c;掌握C51延时函数和循环控制的方法 二、实验内容 【参照图表】 &#xff08;1&#xff09;创建一…
阅读更多...
晚宴扫码查询桌号

晚宴扫码查询桌号

在现代社交活动中&#xff0c;晚宴的组织和管理越来越依赖于技术手段。为了提高晚宴的效率和参与者的体验&#xff0c;我们可以通过一个简单的扫码查询系统来实现快速查找桌号和座位号。以下是详细步骤&#xff1a; 1. 电脑端上传查询信息 访问云分组官网。 使用微信扫码登录…
阅读更多...
AcrelEMS3.0企业微电网智慧能源平台的设计与应用-安科瑞 蒋静

AcrelEMS3.0企业微电网智慧能源平台的设计与应用-安科瑞 蒋静

1系统概述 1.1 概述 2020年9月&#xff0c;我国明确提出2030年“碳达峰”与2060年“碳中和”目标。2022年6月&#xff0c;科技部、国家发展改革委、工业和信息化部、生态环境部、住房城乡建设部、交通运输部、中科院、工程院、国家能源局共同研究制定了《科技支撑碳达峰碳中和…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023