大数据技术原理与应用 01.大数据概述

news2024/11/15 15:24:49

不可以垂头丧气，会显矮

—— 24.3.24

参考学习：厦门大学林子雨老师大数据技术原理与应用

一、大数据时代

大数据概念、影响、应用、关键技术

大数据与云计算、物联网的关系

①三次信息化浪潮时代

②第三次信息化浪潮的技术支撑

1>存储设备容量不断增加

2>企业数据越来越多

3>存储设备容量不断增加

4>CPU能力不断增加

5>网络带宽不断增加

③大数据的发展历程

二、大数据概念和影响

1.大数据的特性——4V

1>快速化

2>大量化

3>多样化

4>价值密度低

大数据是由结构化和非结构化的数据

结构化数据：存储在关系型数据库中的结构化数据

处理速度非常快

价值密度低，商业价值高

2.大数据的影响

在思维方式方面，大数据完全颠覆了传统的思维方式：

①全样而非抽样

大数据可以处理数据变大，不需要采用抽样方法

②效率而非精确

抽样计算的结果误差，放在全样上，会被放大

③相关而非因果

只需关注二者的相关性，不用追求因果性

三、大数据的应用

①业务流程优化

②监控身体情况

③智能医疗研发

④研发智能汽车

⑤实时掌控交通情况，改善日常生活

⑥金融交易

⑦理解满足客户需求

例如：

①影视剧的投拍有风险

②谷歌预测流感

四、大数据的关键技术

1.大数据技术的层次

两大核心技术：

①分布式存储 ②分布式处理

①分布式存储：

解决海量数据的存储问题

②分布式处理：

解决海量数据的处理问题

大数据技术以谷歌公司为代表

不同的计算模式需要使用不同的产品

2.大数据计算模式

1>批处理模式

MapReduce是批处理计算模式的典型代表 spark解决了迭代计算

2>流计算

流数据需要实时处理，给出实时响应，否则分析结果就会失去商业价值

3>图计算

代表软件：Google Pregel

4>查询分析计算

5>总结

五、云计算

1.大数据、云计算、物联网之间的关系

云计算解决了海量数据的分布式存储和分布式处理两个问题

1.云计算典型特征：

虚拟化多租户

2.云计算的概念

云计算是通过网络以服务的方式为用户提供非常廉价的IT资源

3.云计算的优势

①企业不需要自建IT基础设施，可以利用云端资源

4.云计算的三种模式

公有云混合云私有云

5.三种云服务——Iaas、Paas、Saas

①Iaas——基础设置即服务

②Paas——平台即服务

③Saas——软件即服务

6.云计算的关键技术

①多租户

②虚拟化

③云计算数据中心

各种数据和应用位于数据中心里，数据中心含大量刀片服务器

数据中心建设地点要求：

数据中心建设在地质结构稳定的地方

数据中心建设在气候凉爽的地方

数据中心能耗非常大

应用：