【大数据学习篇7】小试牛刀统计并且分析天猫数据

news2024/11/28 17:46:54

本项目基于搭建大数据环境,通过将数据存放在HDFS上,从HDFS中获取数据,然后根据实际需求通过Spark或Spark SQL对数据进行读取分析,将分析结果存储到HBase表中,最终通过 ECharts数据可视化工具基于Python Web平台实现数据可视化。

订单号、成交金额、付款金额、订单时间、付款时间、退款
1、统计每个省的订单总额
2、统计每个省的退款总额
3、统计全国订单总额
4、统计前10名省订单总额
5、统计前10名省退款总额
6、统计每个省的订单数
7、统计每个省的退款数
8、统计每个省成效率

1. 首先启动Hadoop,Spark环境

2. 将天猫数据上传到hadoop上

 

3.读数据,分割,转DF对象,隐式导入,创表

 

 4. 项目实现

4.1 统计每个省的订单总额,写入数据库。

 

4.1.1 构造每个省的订单总额URL,html,网站效果

 

 4.2 统计每个省的退款总额,写入数据库

 

 4.2.1 构造每个省的退款总额URL,html。网站效果

4.3  统计全国订单总额,写入数据库

4.3.1 网站效果: 统计全国订单总额

4.4 统计前10名省订单总额,写入数据库。

4.4.1 网站效果:统计前10名省订单总额

 4.5 统计前10名省退款总额,写入数据库。

 4.5.1 网站效果:统计前10名省退款总额 

4.6 统计每个省的订单数,写入数据库

4.6.1 网站效果:统计每个省的订单数

4.7  统计每个省的退款数,写入数据库。

 4.7.1 网站效果:统计统计每个省的退款数

 

4.8 统计每个省成效率,写入数据库

 4.8.1 网站效果:统计每个省成效率

 5. 构造,完善主页

加入了跳转,音乐,轮播图等应用 

5.1 构造xiaojie页面

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/528530.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

【深入浅出】条件概率的链式法则:定义、公式与应用

前言 在概率论的研究中,条件概率是一种非常重要的概念。当多个随机事件发生时,我们有时需要考虑它们同时发生的概率。条件概率的链式法则就是一种用于计算多个随机事件同时发生的概率的方法。本文将会介绍条件概率的链式法则的定义、公式以及应用。 定…

[集合论]集合与二元关系

目录 二元关系导图集合集合表示方法对等差等于两个集合的相对补的或关系 关系序偶与笛卡尔积笛卡尔积 ------不满足交换律 不满足结合律 关系条件 集合与关系划分与覆盖等价关系 (取余、等)商集 偏序关系---自反 反对称 传递(大于等于 小于等于 整除关系 包含 cover 幂集子集关…

入门网络安全,NISP真的有必要考吗?

一、NISP是什么? 国家信息安全水平考试(National Information Security Test Program,简称NISP),是由中国信息安全测评中心实施培养国家网络空间安全人才的项目,由国家网络空间安全人才培养基地运营/管理。…

【Git 操作指南】| 撤销远程仓库的 push 以及 git commit 提交

目录 一、撤销 git push二、撤销 git commit 一、撤销 git push 执行git log查看版本日志&#xff0c;找到目标版本。执行git reset --soft <version numbere>&#xff0c;如git reset --soft d8cedc98e008e14a35d3faf424764648fb29d55b&#xff0c;重置为之前提交的版本…

stm32ADC采样结构参数和相关配置

ADC原理&#xff1a; 原理上是将采集保持器与DAC分开的&#xff0c;如下&#xff1a; STM32 逐次逼近寄存器型(SAR)模拟数字转换器(ADC) 但实际电路可将DAC与采集保持器合并&#xff0c;主要运用的原理就是电容电荷再分配&#xff1a; SAR ADC 逐次逼近型模数转换原理及噪声…

通俗易懂理解spark的DAG

DAG简介 百度百科对DAG的解释用一句话概括:无回路有向图。 Spark的DAG(有向无环图)是一个基本概念,在Spark执行模型中起着至关重要的作用。DAG是“定向的”,因为操作是按特定顺序执行的,而“非循环的”是因为执行计划中没有循环或循环。这意味着每个阶段都取决于前一阶…

分压电阻凑算工具

本工具用于电阻凑算&#xff0c;使用Python3开发&#xff0c;GUI使用Tkinter&#xff0c;无第三方依赖。 项目地址&#xff1a;leidawt/resistor_calculator 使用方法 计算分压电阻值 给定输入、输出电压&#xff0c;计算所需电阻比&#xff0c;根据电阻表选取最接近的电阻组…

Win10和Ubuntu20.04双系统安装教程详解

一.准备材料 U盘&#xff08; 容量>16G&#xff09;、刻录软件( UltraISO)、 Ubuntu 20.04镜像文件 二.查看电脑的信息 查看BIOS模式 "winr"快捷键进入"运行"&#xff0c;输入"msinfo32"回车&#xff0c;出现以下界面&#xff0c;可查看BIOS模…

C# XML的节点遍历、定位、编辑和删除(三)

文章目录 XML样例获取整个文档根开始获取根节点获取最后一个子节点在同级之间向前导航在同级之间向后导航查找节点获取多个节点编辑节点添加节点删除节点小结附录参考 在项目的实际应用中&#xff0c;有很多数据都会保存为XML配置文件。使用率比较高的操作有加载文档&#xff0…

2023-数仓常见问题以及解决方案

01 数据仓库现状 小 A 公司创建时间比较短&#xff0c;才刚过完两周岁生日没多久&#xff1b;业务增长速度快&#xff0c;数据迅速增加&#xff0c;同时取数需求激增与数据应用场景对数据质量、响应速度、数据时效性与稳定要求越来越高&#xff1b;但技术能力滞后业务增长&…

ESXI8中修改虚拟机磁盘格式

厚置备改精简置备 改后 所以&#xff0c;先开启SSH、Shell服务 流程如下&#xff1a; 使用root登录SSH [rootlocalhost:~] [rootlocalhost:~] cd "/vmfs/volumes/HDD1/SOESC" [rootlocalhost:/vmfs/volumes/64398ef2-3cb0bdb4-2552-e8611f32b3ac/SOESC] ls -lh …

R.I.P,又一位程序员巨佬——左耳朵耗子陨落

震惊&#xff01;谣言吧&#xff01;求辟谣&#xff01;默哀&#xff01; 左耳朵耗子&#xff0c;在程序员这个群体里应该属于 GOAT 的存在了&#xff0c;虽然每个人心目中都有自己的 GOAT&#xff0c;但耗子叔的影响力可以说是有目共睹。 我也是在技术群刷到这张图片的&#…

由浅入深理解java集合(二)——集合 Set

一、HashSet类 HashSet简介 HashSet是Set接口的典型实现&#xff0c;实现了Set接口中的所有方法&#xff0c;并没有添加额外的方法&#xff0c;大多数时候使用Set集合时就是使用这个实现类。HashSet按Hash算法来存储集合中的元素。因此具有很好的存取和查找性能。 HashSet特点…

Docker Swarm集群管理

秋风阁(https://focus-wind.com/) 文章目录 基本概念Swarm节点任务与服务 集群管理端口配置创建集群加入集群查看集群退出集群 节点设置节点标签设置节点信息查询 服务管理部署服务查看服务服务日志查看服务重启 Docker Swarm官方文档 Docker Swarm是Docker引擎原生内置的容器…

FE_函数(Function)的基本理解

1 函数&#xff08;Function&#xff09;的基本理解 函数就是在程序设计中&#xff0c;将一段代码封装起来&#xff0c;完成一个特定的功能&#xff0c;并给这段代码起一个名称&#xff0c;程序通过名称就可以执行这段代码。函数也是一个对象&#xff0c;也具有普通对象的功能…

华为测开面试记,三面被吊打,所幸最后Offer已到手

在互联网做了几年之后&#xff0c;去大厂“镀镀金”是大部分人的首选。大厂不仅待遇高、福利好&#xff0c;更重要的是&#xff0c;它是对你专业能力的背书&#xff0c;大厂工作背景多少会给你的简历增加几分竞争力。 但说实话&#xff0c;想进大厂还真没那么容易。最近面试华…

企业级信息系统开发讲课笔记4.3 Spring Boot两种全局配置和两种注解

文章目录 零、学习目标一、全局配置文件概述二、Application.properties配置文件&#xff08;一&#xff09;创建Spring Boot的Web项目PropertiesDemo&#xff08;二&#xff09;在application.properties里添加相关配置1、配置tomcat端口号和web虚拟路径2、对象类型的配置与使…

C++继承(一文学懂继承)——对象赋值转换、菱形虚拟继承

hello&#xff0c;这里是bangbang&#xff0c;今天来讲下继承。 面向对象三大特性&#xff1a;封装、继承、多态。 目录 1. 继承的概念及定义 1.1 继承的概念 1.2 继承定义 1.2.1 定义格式 1.2.2 继承关系和访问限定符 1.2.3 继承基类成员访问方式的变化 2. 基类和派生类对…

波士顿房价数据集怎么不见了?

波士顿数据下载 消失的波士顿 OoO 做线性回归的同学大概率会用到一个数据集&#xff0c;即波士顿房价数据集&#xff0c;然而当你从sklearn下载该数据集时&#xff0c;你会惊讶地发现居然下载不了了&#xff01;&#xff01;&#xff01;起初我以为是是什么别的原因导致数据集可…

云计算之OpenStack基础

云计算之OpenStack基础 一、OpenStack基础知识二、虚拟化2.1 虚拟化类型2.1.1 Ⅰ型虚拟化2.1.2 Ⅱ型虚拟化2.1.3 比较 2.2 KVM&#xff08;Ⅱ型虚拟化&#xff09;2.2.1 基本概念2.2.2 Libvirt2.2.3 CPU虚拟化2.2.4 内存虚拟化2.2.5 存储虚拟化2.2.5.1 目录类型的 Storage Pool…