数据分析的大体思路

news2024/11/15 11:09:35

目录标题

  • 数据分析
    • 企业数据的分析的三个方向:
      • 离线分析(Batch Processing)
      • 实时分析(Real Time Processing |Streaming):
      • 机器学习(Machine Learning)
  • 数据分析的流程
    • 明确分析的目的和思路
      • 目的
      • 思路
      • 数据分析方法
      • PEST
      • 5W2H
    • 数据收集
    • 数据的预处理
    • 数据分析
    • 数据展现
    • 报告的撰写
  • 总结

数据分析

企业数据的分析的三个方向:

现状分析(实时数据的分析)

原因分析(历史数据的分析)

预测分析(结合数据预测未来)

每个数据分析的发展方向对应着以下数据分析的分析技术:

离线分析(Batch Processing)

面向过去,面向历史,分析已经存在的数据;

在时间维度明显成批次性变化,所以也叫做批处理

实时分析(Real Time Processing |Streaming):

面向当下,分析实时产生的数据;

所谓的实时是指从数据产生到数据芬妮下到数据应用的时间间隔非常的短,可以细分到秒级和毫秒级别,实时分析也就是流式处理

机器学习(Machine Learning)

基于历史数据和当下产生的实时数据预测未来发生的事情

侧重于数学算法的运用,如分类,聚合,关联,预测。

数据分析的流程

明确分析的目的和思路

目的

目的是整个分析流程的起点,为数据的收集,处理及分析提供清晰的指引方向;

思路

思路是使分析框架体系化,使各个分析点之间具有逻辑性关系,保证分析维度的完整性,分析结果的有效性以及正确性,需要数据分析方法论进行支撑;

数据分析方法

数据分析的方法有:PEST分析方法,5W2H分析方法

PEST

PEST分析方法:EST分析是指宏观环境的分析,P是政治(politics),E是经济(economy),S是社会(society),T是技术(technology)。在分析一个企业所处的外部环境的时候,通常是通过这四个因素来分析企业集团所面临的状况请添加图片描述

5W2H

5W也就是w开头的5个字母组成的分别是:

(1)WHAT——是什么?目的是什么?做什么工作?

(2)WHY——为什么要做?可不可以不做?有没有替代方案?

(3)WHO——谁?由谁来做?

(4)WHEN——何时?什么时间做?什么时机最适宜?

(5)WHERE——何处?在哪里做?

2H也是一样分别是:

(1)HOW ——怎么做?如何提高效率?如何实施?方法是什么?

(2)HOW MUCH——多少?做到什么程度?数量如何?质量水平如何?费用产出如何?

数据收集

数据从无到有

数据传输搬运

数据分类:

业务数据、日志数据、爬虫数据、互联网公开的数据

数据的预处理

数据预处理需要对收集到的数据进行加工整理,形成适合数据分析的样式2,主要包括数据清洗、数据转化、数据提取、数据计算;

数据的预处理可以保证数据的一致性和有效性,让数据变成一个干净整洁的结构化数据

数据分析

利用适当的数据分析工具,提取有用的信息,形成有效的结论,需要掌握各种数据分析的方法,还要熟悉分析软件的操作

数据展现

数据展现也就是数据的可视化,指的是分析结果使用图表展示,因为人类是视觉动物,图表的形式更容易被人类记住;

数据可视化属于数据应用的一种

数据分析的结果不仅仅是可视化的展示,话可以进行数据的挖掘,即席查询等等

报告的撰写

要写明对整个数据分析过程的一个总结和呈现

把数据分析的原因、过程和结果以及建议完整的呈现出来

要有明确的结论,最后是建议以及解决方案

总结

1、一切围绕于数据,一切结果源于数据

2、核心步骤:采集、处理、分析、应用

文章内容来自网络,侵权联系删除

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/132166.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

JVM调优基本概念

1、jvm组成以工作流程 jvm组成 类装载器、运行时数据区(内存模型)、字节码执行引擎 工作大致流程 首先我们的java类编译成class类文件,当我们的class文件开始执行,我们的虚拟机便开始工作。 类加载器将class加载到运行时数据区…

SSM之Spring(一)

目录 一:Spring简介 1.1 Spring概述 1.2 SpringFrameWork 1.2.1 SpringFrameWork特性 1.2.2 Spring Framework五大功能模块 二:IOC 2.1 IOC容器 2.1.1 IOC思想 2.1.2 IOC容器在Spring中的实现 2.2 基于XML管理bean 2.2.1 入门案例 2.2.2 获取bean…

Golang switch 的使用的注意事项和细节

内容来自:尚硅谷-韩老师教学笔记,链接:尚硅谷 1)case/switch 后是一个表达式( 即:常量值、变量、一个有返回值的函数等都可以) 2)case 后的各个表达式的值的数据类型,必须和 switch 的表达式数据类型一致 3…

辞暮尔尔烟火年年,朝朝暮暮岁岁平安。(2022年度总结)

目录 前言: 一、第一件事情,重新认识自己,从内核出发 二、第二件事情,告别内卷,拥抱微雕 三、第三件事情,愿2023,你我更更好 前言: 今天是2022年12月31日,2022年的最…

Shell——变量与脚本运行的方式

文章目录变量定义变量的几种方式1)无引号2)单引号3)双引号4)反引号export定义变量变量的提取、修改与删除1)变量的提取2)变量的修改3)变量的删除特殊变量1)位置参数2)${#…

Jetpack组件(fragment)(1)

一.什么是Fragment? 碎片是活动的一部分,使得活动更加的模块化设计。我们可以认为碎片是一种子活动。 碎片拥有自己的布局,自己的行为及自己的生命周期回调。当活动在运行的时候,你可以在活动中添加或者移除碎片。你可以合并多个碎片在一个…

Android修炼之混淆

自嘲时刻 作为Java和Android开发者,大家应该都对混淆很熟悉了。网上也有各路大神提供的混淆模板,基本上直接拿来用就好。但我还是想捋一捋,因为工作中被混淆这家伙“玩弄”了好几次,必须把它记在小本本上。 介绍 基本概念 混淆…

Cesium中使用Sampler3D,3D纹理,实现体渲染

Cesium中使用Sampler3D,3D纹理,实现体渲染 Cesium目前(20221231)还不支持直接使用3D纹理,但是其实内部已经可以WebGL2,而且内置常量也有3DTexture。所以,可以通过仿Texture,来实现3…

如何彻底的理解需求,做出更好的软件

背景: 最近接到了一个需求,大概的需求就是我们有一些数据,默认分为了两类。如果变多的话,用户找起来非常的困难,针对这个现象我们提出了两点解决方案。1:添加搜索。2:添加分组。 第一波设计&…

Android的adb命令实战篇-1

2023年 —— 是充满希望的一年. 对于Android开发者而言,ADB命令或多或少都使用过,今天我们就一起来整体回顾一下吧。 ADB的全称:Android Debug Bridge 1. ADB(Android Debug Bridge) 在实际工作中,周围同事会抱怨记不住常用的a…

过寒假

小时候,每到一放假就被父亲送回奶奶家。除了寒假作业,我还会带一堆书回去看。我小时候特别喜欢到邮电局大厅去订阅报刊杂志,就连学校也会报名订阅报刊。我小学时看完梁羽生的《七剑下天山》就是翻日报上每天的小说连载看完的。那时候过年时家…

Unity AR小游戏(玩具小车)踩坑记

最近对AR产生了兴趣。先科普一下什么是AR吧。AR是Augmented Reality(增强现实)的简称,是基于摄像头对现实世界的实时图像采集、分析和理解,然后在此基础上融入虚拟物体(信息),以达到增强体验的目…

Three.js学习(一)初识three.js

文章目录1.基本配置2.基本概念3.Api4.实现一个旋转动画1.基本配置 (1)安装 ​ npm install three (2)引入 import * as THREE from three2.基本概念 Three.js是基于原生WebGL封装运行的三维引擎。 (1)一…

【Linux】实验四 进程信号通信

文章目录一、实验目的二、 实验内容三、 实验原理1、信号3.1.1 信号的基本概念3.1.2、信号的发送2、所涉及的系统函数调用3.2.1 fork()3.2.2 kill( )This is my question.3.2.3 signal( )代码例子3.2.4 getpid()3.2.5 wait()四、 实验内容五、程序代码运行结果六、实验总结及心…

来玩,前端性能优化(+面试必问:宏任务和微任务)

前端性能优化相关的“技能点”笔者之前也写过几篇,但是大多都是小打小闹。我重新整理了曾经使用过的性能优化手段。本文介绍三种方案:页面资源预加载、服务请求优化和非首屏视图延迟加载。 页面资源预加载 页面是不可能真正预加载的,但是有…

Linux | PCIe Hotplug | 概念及工作原理的不完全总结

本文对 PCIe 热插拔的概念及工作原理进行不完全总结。 更新: 2022 / 12 / 31 Linux | PCIe Hotplug | 概念及工作原理的不完全总结热插拔组成部件实现代码通知式热插拔线程中断功耗管理意外移除错误处理整合移除BAR参考链接参考这里 1’ 2’ 3‘ 4’ 5 1992年初始…

postgresql数据库安装,备份还原

一.postgresql数据库安装 1.下载软件包 地址:PostgreSQL: File Browser 2.解压安装 [rootpostgresql u01]# tar -zxf postgresql-14.2.tar.gz安装环境 yum install -y perl-ExtUtils-Embed readline-devel zlib-devel pam-devel libxml2-devel libxslt-devel op…

(深度学习快速入门)第一章:深度学习概述、应用、学习路线和框架选择

文章目录一:基本概念(1)神经网络(2)感知器(3)深度学习(4)前向运算和反向传播二:DeepLearning学习路线三:深度学习应用(1)生…

基于Stream的Redis消息队列

目录一、消息队列二、基于List结构模拟消息队列基于List的消息队列的优点:基于List的消息队列的缺点:三、基于PubSub的消息队列基于PubSub的消息队列的优点:基于PubSub的消息队列的缺点:四、基于Stream的消息队列1、XADD语法2、XR…

C++ Primer笔记——allocator、unique_ptr和release、智能指针与动态数组、阻止拷贝

目录 一.P418 unique_ptr和release 二.P426 智能指针与动态数组 (一).unique_ptr (二).shared_ptr 三.P428 allocator (一).申请空间 (二).初始化构造 (三&#…