大数据经典项目案列——滴滴数据分析(云服务器-零基础从配置到项目落地1)

news2024/11/27 3:57:19

本次我们项目采用阿里云服务器,采用以下技术及框架协议,进行数据分析:

  1. HDFS
  2. Hive
  3. Spark SQL
  4. Zeppelin

当然我们也可以利用数据库清洗好的数据,采用

1.Tableau

2.Python+echarts+web前端

3.腾讯云、阿里云BI报表

4.当然我们也可以采用Excel的数据透视表、数据透视图来制作

一、云服务器中虚拟机的配置

1.Hadoop的配置

参考以下博客,将阿里云服务器centos7.2下搭建hadoop伪分布式环境进行配置。

阿里云服务器centos7.2下搭建hadoop伪分布式环境_云服务器分布式环境_feng_zhiyu的博客-CSDN博客https://www.cnblogs.com/ztca/p/8679056.htmlhttps://blog.csdn.net/feng_zhiyu/article/details/81018869?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522168397280916800192226753%2522%252C%2522scm%2522%253A%252220140713.130102334..%2522%257D&request_id=168397280916800192226753&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~all~baidu_landing_v2~default-3-81018869-null-null.142%5Ev87%5Econtrol_2,239%5Ev2%5Einsert_chatgpt&utm_term=%E4%BA%91%E6%9C%8D%E5%8A%A1%E5%99%A8centos7%E5%AE%89%E8%A3%85hadoop&spm=1018.2226.3001.4187遇到问题:

零基础也能学会!Hadoop伪分布式集群安装与配置实践_mb634aa19ba764f的技术博客_51CTO博客零基础也能学会!Hadoop伪分布式集群安装与配置实践,零基础也能学会!Hadoop伪分布式集群安装与配置实践。本文旨在通过实践演示,教授零基础小白如何搭建Hadoop伪分布式集群。文章首先介绍了Hadoop的概念和工作原理,并详细阐述了Hadoop集群的组成结构和功能。接着,文章详细介绍了Hadoop伪分布式集群的安装与配置方法,包括操作系统的安装、Java环境变量的配置、Hadoop文件系统的初始化等步骤。通过本文的学习,读者不仅可以轻松掌握Hadoop伪分布式集群的搭建和配置方法。https://blog.51cto.com/u_15831056/6237232

一定要注意:java的配置环境!!!

防止hadoop找不到java!

2.数据库MySQL的配置

参考以下博客

Centos7安装MySQL详细步骤_在centos7上安装mysql_緑水長流*z的博客-CSDN博客Centos7 安装MySQL详细步骤首先在虚拟机中安装一个Centos7(VM虚拟机安装Centos7)1.1 MySQL安装1.1.1 下载wget命令yum -y install wget1.1.2 在线下载mysql安装包wget https://dev.mysql.com/get/mysql57-community-release-el7-8.noarch.rpm1.1.3 安装MySQLrpm -ivh mysql57-community-release-el7-8.noarhttps://blog.csdn.net/Bb15070047748/article/details/106245223?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522168399621816800182715943%2522%252C%2522scm%2522%253A%252220140713.130102334..%2522%257D&request_id=168399621816800182715943&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~all~top_positive~default-2-106245223-null-null.142^v87^control_2,239^v2^insert_chatgpt&utm_term=centos%E5%AE%89%E8%A3%85mysql&spm=1018.2226.3001.4187

 

使用Navicat连接阿里云服务器上的MySQL数据库_navicat连接阿里云mysql_君兮月影的博客-CSDN博客使用Navicat连接阿里云服务器上的MySQL数据库https://blog.csdn.net/wangws_sb/article/details/127234913?ops_request_misc=&request_id=&biz_id=102&utm_term=%E4%BA%91%E6%9C%8D%E5%8A%A1%E5%99%A8%E4%B8%AD%E7%9A%84MySQL%E9%80%9A%E8%BF%87Navicat%E8%BF%9E%E6%8E%A5&utm_medium=distribute.pc_search_result.none-task-blog-2~all~sobaiduweb~default-0-127234913.142^v87^control_2,239^v2^insert_chatgpt&spm=1018.2226.3001.4187

3.安装hive的配置

CentOS7安装Hive3.1.2+MySQL5.7_安装hive客户端_筝湘湘的博客-CSDN博客文章目录1.安装Hive1.1 解压hive安装包1.2 配置环境变量1.3 解决日志Jar包冲突1.4 初始化元数据库2 启动hive2.1 启动 HDFS,Yarn,historyserver2.2 启动hive2.3 查看hive启动日志3 安装MySQL3.1 退出hive客户端3.2 拷贝JDBC驱动1.安装Hive1.1 解压hive安装包解压hive安装包到指定目录 tar -zxvf apache-hive-3.1.2-bin.tar.gz -C /opt/module/修改名字为https://blog.csdn.net/qq_51490070/article/details/123718952?ops_request_misc=&request_id=&biz_id=102&utm_term=centos%E5%AE%89%E8%A3%85hive&utm_medium=distribute.pc_search_result.none-task-blog-2~all~sobaiduweb~default-3-123718952.nonecase&spm=1018.2226.3001.4187因为每一个人的文件配置不一样,大家一定要清楚自己的文件!!!在哪里配置的

在local的目录下

wget https://mirrors.aliyun.com/apache/hive/hive-3.1.2/apache-hive-3.1.2-bin.tar.gz

将 tar 包解压缩到 /usr/local/ 目录下,并重命名为 hive

tar -zxvf apache-hive-x.y.z-bin.tar.gz
mv apache-hive-x.y.z-bin hive

配置环境变量

~/.bashrc 或者 /etc/bashrc 中添加以下内容:

export HADOOP_HOME=/usr/local/hadoop
export HIVE_HOME=/usr/local/hive
export PATH=$PATH:$HADOOP_HOME/bin:$HIVE_HOME/bin

使修改立即生效:

source ~/.bashrc

至此,Hive 的安装和配置完成了。

配置环境变量:可以在 /etc/profile 文件中添加以下环境变量:

export HADOOP_HOME=/usr/local/hadoop
export HIVE_HOME=/usr/local/hive
export PATH=$PATH:$HADOOP_HOME/bin:$HIVE_HOME/bin
  • source /etc/profile
    

     然后初始化元数据库

  • 配置 Hive 元数据库:Hive 使用一个元数据库来存储元数据信息。可以使用如下命令创建 MySQL 数据库,并授权 Hive 用户使用该数据库:

  • mysql -u root -p
    create database metastore;
    grant all privileges on metastore.* to 'hive'@'localhost' identified by 'your_password';
    

    然后,需要将 Hive 配置文件 hive-site.xml 中的 javax.jdo.option.ConnectionURLjavax.jdo.option.ConnectionUserNamejavax.jdo.option.ConnectionPassword 等属性设置为 MySQL 连接信息。

  • 启动 Hive:可以使用以下命令启动 Hive:

hive

如果一切顺利,你应该能够看到 Hive 的命令行界面,并可以执行 Hive SQL 命令了。

4.hive连接数据库

 

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/525048.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

51单片机(十四)LCD1602

❤️ 专栏简介:本专栏记录了从零学习单片机的过程,其中包括51单片机和STM32单片机两部分;建议先学习51单片机,其是STM32等高级单片机的基础;这样再学习STM32时才能融会贯通。 ☀️ 专栏适用人群 :适用于想要…

SpringCloud Alibaba 配置中心功能

一、快速入门 1、创建工程nacos-client7777 pom <?xml version"1.0" encoding"UTF-8"?> <project xmlns"http://maven.apache.org/POM/4.0.0"xmlns:xsi"http://www.w3.org/2001/XMLSchema-instance"xsi:schemaLocation&q…

基于企业网的信息安全防护系统的设计与实现_kaic

摘 要 这篇文章提供了一种新的&#xff0c;基于“禁止一切”安全策略和VxD技术的企业网络安全保障方案&#xff0c;旨在帮助企业更好地应对外界的威胁。通过设计一套完善的企业网信息安全防护系统&#xff0c;不仅可以有效地解决企业网络中存在的问题&#xff0c;而且还可以有…

一文带你了解和掌握Markdown编辑神器mdnice

无论你是博客写作爱好者&#xff0c;还是想要自己动手开发一个网站&#xff0c;你都可能会接触到Markdown。Markdown是一种轻量级的标记语言&#xff0c;它允许人们使用易读易写的纯文本格式编写文档&#xff0c;然后转换成有效的HTML内容。然而&#xff0c;当你想要将你的Mark…

MYSQL主从复制和读写分离.2

搭建MYSQL读写分离 master :192.168.142.10 slave1:192.168.142.20 slave2:192.168.142.30 Amoeba:192.168.142.40 客户端:192.168.142.50 ----Amoeba服务器配置---- ##安装 Java 环境## 因为 Amoeba 基于是 jdk1.5 开发的&#xff0c;所以官方推荐使用 jdk1.5 或 1.6 版…

Linux 指令3

文章目录 标题日期date时间戳 cal 日历find -name 查找which ls 搜指令whereisgrep 行文本过滤工具&#xff08;例如找到main函数入口&#xff09;例子 ps ajx 进程 打包压缩&#xff0c;解包解压&#xff08;过程是这么个过程&#xff0c;简化成压缩->解压&#xff09;zip多…

使用gitee上传vue项目

菜鸟教程&#xff1a;https://www.runoob.com/git/git-tutorial.html 参考文档&#xff1a;https://blog.csdn.net/handy_csdn/article/details/117400151#:~:text%E4%BB%8E%E9%9B%B6%E5%BC%80%E5%A7%8B%E6%90%AD%E5%BB%BAvue%E9%A1%B9%E7%9B%AE%EF%BC%8C%E5%B9%B6%E4%BD%BF%E7…

试用chatgpt写一篇文章,关于自动化测试框架的思路

当涉及到软件测试和自动化框架时&#xff0c;Python是一种广泛使用的编程语言。它提供了丰富的库和工具&#xff0c;使得构建测试框架变得相对容易。本文将介绍一个基于Python的自动化测试框架&#xff0c;结合了pytest、allure报告、日志记录、YAML配置、MySQL数据库以及钉钉和…

JNI 中Get<PrimitiveType>ArrayElements 和 Release<PrimitiveType>ArrayElements 函数讲解

文章目录 Get<*PrimitiveType*>ArrayElements 函数族Release<*PrimitiveType*>ArrayElements 函数族使用场景 Get<PrimitiveType>ArrayElements 函数族 函数原型&#xff1a; NativeType *Get<PrimitiveType>ArrayElements(JNIEnv *env, ArrayType ar…

vscode 标签的使用

使用标签就可以快速跳转到某一段代码,十分方便 安装 首先,我们需要安装 设置快捷键 shiftcommandp. 调出命令行 输入bookmark, 即可看到标签的相关指令 生成一个标签 设置一个你喜欢的快捷键 ,这代表 在光标所在的行上添加一个标签。需要设置一个label 调出列表 可以显示…

CMakeList.txt -- 编写保姆式教程

致每一个还坚持在互联网和软件行业的同路人。 最近有朋友问我为什么选择当程序员&#xff0c;我也不明白。可能是缺少社交能力&#xff0c;可能更喜欢心理上保存平静&#xff0c;可能是为了那份对于从无到有的沉浸感和满足感。 目录 欢迎加入陈达书--C交流群: Errrr113(非诚勿扰…

LitCTF Writeup By AheadSec

文章目录 Web我Flag呢&#xff1f;Follow me and hack mePing导弹迷踪PHP是世界上最好的语言&#xff01;&#xff01;作业管理系统Vim yyds这是什么&#xff1f;SQL &#xff01;注一下 &#xff01;就当无事发生Flag点击就送&#xff01;Http pro max plus1zjs彩蛋 Pwn只需要…

Jenkins持续集成项目搭建与实践—基于Python Selenium自动化测试

Jenkins简介 Jenkins是Java编写的非常流行的持续集成&#xff08;CI&#xff09;服务&#xff0c;起源于Hudson项目。所以Jenkins和Hudson功能相似。 在华为工作了10年的大佬出的Web自动化测试教程&#xff0c;华为现用技术教程&#xff01;_哔哩哔哩_bilibili在华为工作了10…

如何批量归类文件,按自己批定位置保存

先来给大家看下目前文件是这样的&#xff0c;一个文件夹里面保存是图片 &#xff0c;另一个文件夹保存是文档&#xff0c;我是需要一个图片对应一个文档&#xff0c;保存在同一个文件夹中。 这个是图片 这个是文档 我的需求是一张图片和一个文档保存同一个文件夹中&#xff0c…

面试篇:JVM虚拟机

一、JVM介绍&#xff0c;JVM运行流程 1、什么是JVM Java Virtual Machine&#xff1a;Java程序的运行环境 (java二进制字节码的运行环境) 好处&#xff1a; 一次编写&#xff0c;到处运行自动内存管理&#xff0c;垃圾回收机制 2、JVM运行流程 二、什么是程序计数器&#x…

Rufus v4.0.2035 开源USB引导启动盘制作工具单文件版

Rufus 是一个可以帮助格式化和创建可引导USB闪存盘的工具&#xff0c;比如 USB 随身碟&#xff0c;记忆棒等等。在如下场景中会非常有用&#xff1a;你需要把一些可引导的ISO格式的镜像&#xff08;Windows&#xff0c;Linux&#xff0c;UEFI等&#xff09;创建成USB安装盘的时…

Selenium自动化测试之使用真实用户Chrome环境

Selenium每次打开Chrome浏览器时&#xff0c;每次都是一个初始的全新环境&#xff0c;有时候&#xff0c;我们需要一些当前用户的一些设置和插件等&#xff0c;便可以通过ChromeOptions参数&#xff0c;通过指定用户数据目录--user-data-dir来设置成真实用户目录来实现。 浏览…

【剑指offer】学习计划day2

目录 一. 前言 二. 从尾到头打印链表 a.题目 b.题解分析 c.AC代码 二. 反转链表 a.题目 b.题解分析 c.AC代码 三. 复杂链表的复制 a.题目 b.题解分析 c.AC代码 一. 前言 本系列是针对Leetcode中剑指offer学习计划的记录与思路讲解。详情查看以下链接&#xff1a; 剑指of…

KF-GINS开源代码讲解直播课PPT和学习资源

KF-GINS开源代码讲解直播课PPT和学习资源 文章目录 KF-GINS开源代码讲解直播课PPT和学习资源KF-GINS 组合导航算法原理KF-GINS 代码设计KF-GINS 代码实现KF-GINS 常见问题KF-GINS 扩展直播的部分问题 武汉大学i2Nav团队开源的基于卡尔曼滤波的GNSS/INS组合导航系统&#xff08;…

【UmiJS项目】react-monaco-editor代码编辑器的安装与使用

一、git地址 monaco-editorreact-monaco-editor 二、安装 yarn add monaco-editor yarn add react-monaco-editor yarn add monaco-editor-webpack-plugin注意&#xff1a; monaco-editor 和 monaco-editor-webpack-plugin 需要按照以下对应版本来安装 本人使用的版本如下&a…