数据分析的出现是因为人类难以理解海量数据所呈现出来的信息,不能从中找到相应的规律来对现实中的事物进行对应,我们都知道数据有很高的价值,但不能利用的价值,没有任何意义。
为了解决这一问题,数据分析在长期的数据利用过程中不断完善,简单来说,数据分析就是通过统计分析方法对采集储存的大量数据进行分析,对其进行汇总、归纳、理解和消化,以实现数据的利用价值,发挥数据的作用。
下面我们围绕基础和技术来说一下,要想做好数据分析,都需要掌握哪些知识。
数据分析基础知识
1、统计学知识储备
统计学是一种利用数学理论来进行数据分析的技术,通过统计学我们可以用更富有信息驱动力和针对性的方式对数据进行操作。
在数据分析工作中,利用统计学,我们可以更深入、更细致地观察数据是如何进行精确组织的,并且基于这种组织结构确定数据分析的方法,来获取更多的信息。
这里我们需要从基础的统计理论(描述性统计、区间估计、假设检验等)出发,到基本的统计分析(T 检验、方差分析等),最后到商业常用的模型(回归分析、方差分析等),学习数据分析背后的逻辑,掌握实用统计学的概念和会利用统计的思维去思考问题。
2、分析语言和工具
Python
python作为目前最火的编程软件之一,确实在数据分析、数据挖掘上有着独特优势。是否具备编程能力,也是初级数据分析和高级数据分析的分水岭。
SQL
SQL作为数据分析人员,要想获取数据,肯定就要和数据库打交道,因此SQL肯定是要掌握的,在招聘要求中,SQL也是很多数据分析岗位的能力要求之一。
SQL - 派可数据商业智能BI可视化分析平台
二、ETL和数据仓库
ETL
ETL就是抽取、转换、加载这三个单词的缩写,顾名思义其主要的工作就是把数据从一个地方提取过来,然后进行一个清洗、加工,最后再存到另一个地方。ETL在大数据的整个项目流程中处于中前期的位置,但是它会贯穿到整个项目周期里,因为ETL会涉及到调优这样一直持续的工作。
数据仓库
数据仓库是一个面向主题的、集成的、随时间变化但信息本身相对稳定的数据集合,用于支持管理决策过程。其本质就是完成从面向业务过程数据的组织管理到面向业务分析数据的组织和管理的转变过程,也是商业智能BI中数据仓库的主要作用。
数据仓库 - 派可数据商业智能BI可视化分析平台
三、数据分析思路
数据分析思维强的数据分析师拥有很强的规律总结能力、能够通过举一反三整理分析思路、通过对行业业务的了解建立一整套思维体系。
1、梳理数据分析需求
数据分析师可以通过对行业业务的了解对数据分析需求进行梳理,确认数据分析涉及的业务、行业,需要用到的分析方法,会调取哪些数据指标的数据,需不需要业务人员的参与等等。
数据可视化 - 派可数据商业智能BI可视化分析平台
举个简单的例子,企业销售部门需要对区域销售情况进行分析,判断区域销售的发展趋势,这时数据分析师可以通过数据分析思维想到相关的销售收入、销售订单、销售额、销售拜访等和销售活动直接相关的数据分析,这就是利用数据分析思维形成的总结能力,快速对需求进行反应。
2、明确数据分析目标
在对数据分析需求进行梳理之后,数据分析师就可以确定为数据分析任务所需划定一个基础的范围,然后再根据数据分析任务以及和业务人员的沟通交流确定数据分析的目标。或者换种说法就是业务人员需要数据分析师给出什么样的结论,是找出销售趋势下降的原因,还是给出区域销售效果提升的分析方案。
数据可视化 - 派可数据商业智能BI可视化分析平台
不管怎样,数据分析师可以根据数据分析目标,通过数据分析思维来找到完成销售任务的分析方法。只需要明确业务人员的目标,就可以根据数据、业务和分析思维,找到问题出现的原因,并分析出问题解决的方案有哪些。
3、完善数据分析体系
很多时候我们会发现,其实很多数据分析并不需要太多的复杂思路,这主要有两个原因。一个是因为很多数据分析需求其实都很简单,更多是对数据进行一个简单的分析罗列,主要是用来展现业务发展变化或是当前情况;另一个则是因为数据分析师拥有较强的数据分析思维,形成了一套数据分析方法论,之后就可以根据总结的规律经验对需求进行数据分析,让数据分析看起来很简单。
数据可视化 - 派可数据商业智能BI可视化分析平台
实际上同样的数据分析需求交给不同人来做效果就是有很大差异,给出的结论有时也不尽相同。当然这并不是说有些数据分析有错误,只是掌握了数据分析思维的数据分析师能够给出更有效的数据分析结论,具有解决问题的能力,可以给出一定的方案、见解,给人看起来的感觉很舒服,更令人信服。