大数据应用开发–概述
1. 大数据应用开发简介
1.1 数据分析的概念
数据分析就是利用数学、统计学理论相结合科学统计分析方法对数据库中的数据、Excel数据、收集的大量数据、网页抓取的数据进行分析，从中提取有价值的信息形成结论并进行展示的过程。
数据分析的目的在于将隐藏在一大堆看似杂乱无章的数据背后，将有用的信息提取出来，总结出数据的内在规律，以帮助在实际工作中的管理者做出决策和判断。
1.2 数据可视化的概念
数据可视化旨在借助图形化的手段，将一组数据以图形的形式表示，并利用数据分析和开发工具发现其中未知信息的处理过程。
2. 常用模块
2.1 Numpy
Numpy模块是一个用于实现科学计算的库，尤其是在实现数据分析时，该模块是一个必不可少的基础库。
Numpy模块不仅支持大量的维度数组与矩阵运算，还针对数组运算提供大量的数学函数库。
2.2 Pandas
Pandas是一个开源库，主要为Python提供高性能、易于使用的数据结构和数据分析工具。
Pandas的数据结构中有两个核心，分别是Series与DataFrame。
2.3 matplotlib
Matplotlib是一个Python绘图库，它不仅可以绘制2D图表，还可以绘制3D图表。
中间的“plot”表示绘图，而结尾的“lib”表示它是一个集合。
2.4 scikit-learn
scikit-learn模块是一个简单有效的数据挖掘和数据分析工具
scikit-learn模块是基于numpy、scipy基础上的模块。
3. 开发工具与环境
3.1 什么是jupyter？
Jupyter（全称Jupyter Notebook）是一个交互式编辑器，它支持运行40多种编程语言，便于创建和共享文档。Jupyter本质上是一个Web应用程序，与其他编辑器相比，它具有小巧灵活、支持实时代码、方便图表展示等优点。
3.2 安装与使用Jupyter
3.2.1 安装jupyter工具
使用pip工具可以方便地安装Jupyter。pip工具是Python的包管理工具，Python 3.4以上的解释器自带了pip管理工具。
安装命令如下：
pip install jupyter notebook
下面是已经安装好的
输出如下信息表明jupyter工具安装成功
Installing collected packages: jupyter
Successfully installed jupyter-1.0.0
3.2.2 使用jupyter
以E:\python目录为例，在该目录下打开命令行窗口，输入Jupyter的启动命令。
执行Jupyter的启动命令后，会在默认的浏览器中呈现Jupyter主界面。
单击文件列表右上方的“New”，在弹出的下拉列表中选择“Python 3”，直接创建一个Python文件。
创建Python文件后，Jupyter会在浏览器中打开一个新的页面。
在Jupyter文件页面的“In [ ]:”后的文本框中输入如下代码：
print('hello world!')
单击文本框上方的“运行(shift+enter)”按钮，程序执行结果将会在文本框下方直接输出，具体如下图所示。
使用快捷键Ctrl+S（或修改文件页面的文件名）可以将当前页面中编辑的代码和代码的运行结果都保存在以“.ipynb”为后缀名的文件中，保存后的文件将会出现在Jupyter主界面的文件列表中，单击列表中的文件，可在浏览器中打开并继续使用文件。
3.2.3 安装数据库处理库
利用Python内置的pip工具可以非常方便地安装Python第三方库，安装命令的格式如下：
pip install 模块/库名
pip install numpy pandas
在Jupyter中导入numpy、pandas库，若运行后没有出现任何报错信息，说明库安装成功。如下：
Installing collected packages: numpy, pandas
Successfully installed numpy-1.19.0 pandas-1.1.0
