大数据实训项目(小麦种子)-01、VirtualBox安装与Centos7系统安装

news2024/11/24 15:44:43

文章目录

  • 前言
  • 项目介绍
  • 项目任务目标
  • 一、VirtualBox安装
    • 1.1、认识VirtualBox
    • 1.2、VirtualBox的下载安装
  • 二、VirtualBox安装Centos7系统
    • 2.1、VirtualBox安装Centos7
    • 2.2、Centos7配置静态IP地址
    • 2.3、Centos7环境基础配置
  • 三、Windows安装FinalShell及连接Centos7
    • 3.1、FinalShell下载与安装
    • 3.2、FinalShell连接虚拟机中的Centos7

前言

博主介绍：✌目前全网粉丝3W+，csdn博客专家、Java领域优质创作者，博客之星、阿里云平台优质作者、专注于Java后端技术领域。

涵盖技术内容：Java后端、大数据、算法、分布式微服务、中间件、前端、运维等。

博主所有博客文件目录索引：博客目录索引(持续更新)

视频平台：b站-Coder长路

本期大数据实战项目功能演示及环境搭建教程（b站）：https://www.bilibili.com/video/BV1F6421V7dY

项目介绍

前端：HTML、JS、Echarts、JSP。

后端：tomcat、servlet。

大数据：Hadoop（MapReduce、HDFS）、Hbase、Hive。

服务选用系统：Centos7。

重点：大数据

大数据技术栈的版本选择：

  • Hadoop3.1.0：依赖JDK8
  • Hive3.1.2：依赖MySQL5.7
  • Hbase2.2.4：依赖Hadoop、zookeeper3.4.5

项目任务目标

大数据实训任务：

根据数据特征，设计一个任务场景，开发一个JavaWeb项目，实现如下任务：
（1）原始数据上传到HDFS，前端页面按钮启动文件上传任务，统计分析结果以文件的形式提供下载；
（2）利用MapReduce实现数据的预处理和分析；
（3）利用MapReduce将部分数据存储到Hbase，并实现数据的查询，查询结果显示到前端页面；
（4）利用数据仓库Hive对数据进行统计分析；可以单独执行hive程序进行统计分析；但分析结果要在前端界面展示；
（5）统计分析结果利用Echarts图表进行可视化展示。
要求：所有任务必须能够利用JavaWeb前端页面进行启动和显示结果。

数据集：小麦种子

image-20240203174745647

image-20240205002702601

属性说明
Area,  Perimeter,  Compactness,  Kernel.Length,  Kernel.Width,  Asymmetry.Coeff,  Kernel.Groove,  Type
分别是：区域、周长、压实度、籽粒长度、籽粒宽度、不对称系数、籽粒腹沟长度、类别

实际实现的功能拆分内容如下：

本次大数据实验项目所需要完成的项目内容如下：
前端页面使用jsp+html，后端处理请求使用servlet
1、点击上传文件：原始数据上传到HDFS，前端页面按钮启动文件上传任务，将数据将结果上传到HDFS中的/wheat。 
2、点击mapreduce按钮：利用MapReduce实现数据的预处理和分析，最终数据结果是在HDFS的/anlysis目录下。
3、通过前端页面按钮点击Hbase存储：发送请求执行将数据存储到Hbase，并实现数据的查询，查询结果显示到前端页面；
4、利用数据仓库Hive对数据进行统计分析；可以单独执行hive程序进行统计分析；
	分析结果展示通过要在前端界面点击hive分析结果按钮，来查询统计结果数据，最终使用Echarts图表进行可视化展示。对于数据分析我们是对种子的【区域】字段来进行分范围统计，四个范围如下：
0-11、12-15、15-20、20-30、>30部分。最终是以柱状图形式来展示。

一、VirtualBox安装

1.1、认识VirtualBox

介绍：VirtualBox 是一款开源虚拟机软件，由Sun公司出品，现在则由Oracle进行开发。VirtualBox号称是最强的免费虚拟机软件，它性能优异且简单易用。可虚拟的系统包括Windows、Linux、MacOS、Android等操作系统！本文将使用VirtualBox作为虚拟机来安装Linux系统。

1.2、VirtualBox的下载安装

VirtualBox下载地址：https://www.virtualbox.org/wiki/Downloads

virtualbox建议安装6.1.38，这里提供6.1.38安装包：

image-20240205004114035

下载选择安装路径即可：

image-20220413210641440

image-20220413210648591

二、VirtualBox安装Centos7系统

2.1、VirtualBox安装Centos7

VirtualBox安装Centos7详细安装教程（同可见）：https://blog.csdn.net/weixin_46267823/article/details/132940562

准备好centos7的镜像文件如下：

image-20240205004102452

将iso镜像放入到提前准备好的文件目录【images】：

image-20240216194116246

步骤一、点击右边的新建

1、选择类型linux、版本2.6，3.x(64)，虚拟电脑文件夹选择在自己提前准备好的空目录下【virtual machines】

2、内存选择2GB即可。

3、现在创建虚拟硬盘，选择VDI，选择动态分配。

4、确定目录，选择30GB

image-20220413211347612

步骤二、设置centos7镜像

1、调整启动顺序：设置-系统-启动顺序，光驱为第一位。

image-20240216194448755

2、选择虚拟光盘centos：设置—存储—属性，添加选择光盘

image-20240216194603277

保存后，右击-启动即可。

步骤三、安装centos过程设置

1、设置时钟：地区选择Asia、城市上海。

image-20240216194911375

2、安装简体中文语言包。

3、软件：server with gui。选择libary、tools、securituy tools

4、进行磁盘分区

关于分区的几个目录的说明：30GB分配

  • /：根分区；一般设置10GB。
  • swap：交换分区，可以当虚拟内存使用；2GB
  • /boot：存储系统的引导信息和内核信息；500MB
  • /usr：存储系统应用软件安装信息；10GB
  • /var：存储系统日志信息。5GB

5、网络设置—打开网卡，设置主机名

image-20240216195859666

最后开始安装即可，过程中可以设置密码与创建用户。

  • 一般设置为root、root即可

可创建新用户：

账号：changlu
密码：123456

步骤四、安装完成后，重新启动，选择license协议确定。进行设置—网络，设置对应的桥接网卡+NAT网卡

指定虚拟机右击-网络：设置一个桥接，一个NAT网卡

网卡1：桥接网卡

image-20220904212426502

网卡2：NAT网卡

image-20220901165519124

启动虚拟机之后，我们可以长按左下角的小电脑标志，即可显示相应的网卡ip地址，之后使用xshell或者其他远程连接工具即可连接该IP地址：

image-20221012141124261

PS：对于Linux系统我们需要本地开启ssh服务，接着将防火墙关闭，此时就能够进行连接了。

关闭防火墙

# 查看状态
systemctl status firewalld

# centos关闭防火墙命令
systemctl stop firewalld

2.2、Centos7配置静态IP地址

可参考如何设置centos7的静态IP（virtualBox版）：https://blog.csdn.net/Yang_36368/article/details/127029727

①首先看当前主机的网关地址

cmd中输入：

# 见无线局域网适配器WLAN
ipconfig

②修改网络配置文件

cd /etc/sysconfig/network-scripts/

# 直接修改enp0s3配置文件
vi ifcfg-enp0s3

配置内容直接在ifcfg-enp0s3网卡文件修改（可自行根据主机cmd中的网关地址）：

image-20240607223451778

开启网络连接：

image-20240607012007519

配置DNS1：

DNS1: 8.8.8.8

刷新网络配置：

sudo systemctl restart network

2.3、Centos7环境基础配置

准备动作：

可不更换（安装mysql源有问题会使用阿里云的话）：

# 安装wget
yum -y install wget

# 若是想使用阿里云源（不建议在后面mysql安装源有问题），则按照如下操作
# ①备份系统自带的yum基础源
# mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.bak
# ②下载阿里云yum源并配置为yum基础源
# wget -O /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-7.repo

# 依据更新软件包
yum -y update

# 安装vim
yum -y install vim

配置Hosts文件，访问server域名即可访问对应的IP地址：

vi /etc/hosts

# 文件末尾增加 个人配置的静态ip地址  域名
192.168.80.120 server

# 刷新dns缓存
sudo systemctl restart network

关闭防火墙，不关闭防火墙可能导致无法访问 Hadoop 的 Web UI 界面：

# 查看防火墙状态
sudo firewall-cmd --state

# 关闭防火墙
sudo systemctl stop firewalld

# 设置禁止开机启动
sudo systemctl disable firewalld

三、Windows安装FinalShell及连接Centos7

3.1、FinalShell下载与安装

方式一：资料包中获取

image-20240607223147729

方式二：官网下载

FinalShell网址：http://www.hostbuf.com/

image-20240216174653203

点击下方的windows X64版即可下载：

image-20240216174709160

安装仅需按照步骤下一步即可。

3.2、FinalShell连接虚拟机中的Centos7

# 查看ip地址，一般是ens开头的（之前配置好的静态ip地址）
ip addr

# 关闭防火墙
systemctl status firewalld  # stop  disable

# 检查sshd是否存在
systemctl status sshd.service

# 可互相ping测试
# 接着使用finalshell测试连接

image-20240607223014769

整理者：长路 时间：2024.2.5

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1826811.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

神经网络学习2

神经网络学习2

张量（Tensor）是深度学习和科学计算中的基本数据结构，用于表示多维数组。张量可以看作是一个更广义的概念，涵盖了标量、向量、矩阵以及更高维度的数据结构。具体来说，张量的维度可以是以下几种形式： 标量&am…
阅读更多...
环保评A的意义与价值

环保评A的意义与价值

环保评A，这个看似简单的称谓，背后却蕴藏着深厚的环保理念和实践标准。在当今社会，环保已经成为一项全球性的议题，各国都在努力推动绿色发展，实现可持续发展目标。那么，环保评A究竟是全国性的认证还是地方性…
阅读更多...
在VMware中安装CentOS7（超详细的图文教程）

在VMware中安装CentOS7（超详细的图文教程）

1、CentOS7的下载 官网下载地址：Download。 进入CentOS下载官网，找到64位的CentOS7版本。 点进来后，发现它给我们列出了所在区域可用镜像源（可以说是非常的良心的），我们随便选择一个，这里以阿…
阅读更多...
Git使用-gitlab上面的项目如何整到本地的idea中

Git使用-gitlab上面的项目如何整到本地的idea中

场景 一般我们在开发项目或者接手某个项目时，基本都要接触Git，比如上传项目代码，下载同事给你的交接代码等等。 这是一个基本功，小小整理一下日常操作中的使用。 第一步：在 GitLab 上找到你要克隆的项目，复…
阅读更多...
C#传值参数 -1值类型 -2引用类型

C#传值参数 -1值类型 -2引用类型

传值参数 -1值类型 -2引用类型 using System; using System.Collections.Generic; using System.Linq; using System.Text; using System.Threading.Tasks; //传值参数-1、值类型 2、引用类型 namespace PamatetersExample {class Program{static void Main(string[] args){St…
阅读更多...
【odoo15】前端自定义模态弹窗

【odoo15】前端自定义模态弹窗

概要 在odoo15或者在15之前，odoo前端的owl框架还没完全替换当前前端框架的时候，我们很多时候都是用js或者jq来直接操作dom，那么我们如果需要在前端用到一个模态弹窗，可以怎么解决呢？ 方法1 直接用js原生的模态弹窗&am…
阅读更多...
CMU最新论文：机器人智慧流畅的躲避障碍物论文详细讲解

CMU最新论文：机器人智慧流畅的躲避障碍物论文详细讲解

CMU华人博士生Tairan He最新论文：Agile But Safe: Learning Collision-Free High-Speed Legged Locomotion 代码开源：Code: https://github.com/LeCAR-Lab/ABS B站实际效果展示视频地址：bilibili效果地址 我会详细解读论文的内容,让我们开始吧…
阅读更多...
基于Python+OpenCV+SVM车牌识别系统(GUI界面)【W3】

基于Python+OpenCV+SVM车牌识别系统(GUI界面)【W3】

简介： 随着交通管理的日益复杂化和智能化需求的增加，车牌识别系统在安防、智慧交通管理等领域中扮演着重要角色。传统的车牌识别系统主要基于图像处理和模式识别技术，随着计算机视觉技术的发展，基于Python、OpenCV和机器学习算法的…
阅读更多...
用于以太网PLC的跨网段无线WIFI通讯，IP地址转换

用于以太网PLC的跨网段无线WIFI通讯，IP地址转换

产品型号：NET50-NAT-W 使用范围：用于以太网PLC的跨网段无线WIFI通讯 产品介绍 工业通讯桥接器（NET50-NAT-W）用于以太网设备（PLC，数控，机器人等）的IP地址跨网段转换和无线WIFI通讯。…
阅读更多...
Java | Leetcode Java题解之第151题反转字符串中的单词

Java | Leetcode Java题解之第151题反转字符串中的单词

题目： 题解： class Solution {public String reverseWords(String s) {StringBuilder sb trimSpaces(s);// 翻转字符串reverse(sb, 0, sb.length() - 1);// 翻转每个单词reverseEachWord(sb);return sb.toString();}public StringBuilder trimSpaces(S…
阅读更多...
去掉eslint

去掉eslint

1、在vue.config.js文件里加上下面的代码，然后重启就可以了！ 2、vue.config.js文件代码： const { defineConfig } require(vue/cli-service) module.exports defineConfig({transpileDependencies: true,lintOnSave: false })
阅读更多...
小数二分个人见解

小数二分个人见解

小数二分 小数二分题目 小数二分 整数二分 是找边界点，而小数二分找的是 近似值。 整数二分是在一个整型数组当中 查找，而小数二分是在数轴中 查找，都是每次可以排除一半的区间，只不过小数二分中while循环内的结束条件和整数二分…
阅读更多...
酒店民宿小程序开发，旅游业发展下的商业机遇

酒店民宿小程序开发，旅游业发展下的商业机遇

随着人们生活水平的日益提高，对各种娱乐方式的需求在不断上升，其中旅游成为了大众的“新宠”。旅游业的快速发展也推动了酒店民宿的蓬勃发展，打造一个便捷高效的线上酒店民宿小程序成为了至关重要的发展趋势！ 如今，不…
阅读更多...
vulnhub靶场-xxe打靶教程

vulnhub靶场-xxe打靶教程

目录 靶机导入 信息收集 发现IP 端口扫描 目录扫描 漏洞利用 靶机下载地址：XXE Lab: 1 ~ VulnHub 靶机导入 导入虚拟机 开启虚拟机 信息收集 发现IP arp-scan -l 发现靶机IP是192.168.202.150 端口扫描 使用nmap进行扫描 nmap -sS -A 192.168.202.150 …
阅读更多...
SJ703安全帽防静电测试仪

SJ703安全帽防静电测试仪

一、仪器用途 专门检测安全帽防静电性能。 二、仪器特征 1、携带使用轻便、量程宽广、读数准确，耐震性强等卓越优点 2、超上限时显示‘1’提示和低于下限时声响报警。 3、电池欠压时显示欠压符号“←”提示。 4、交流或直流（电池）供电任…
阅读更多...
OpenCV滤波器

OpenCV滤波器

滤波的作用 一副图像通过滤波器得到另一副图像；其中滤波器又称为卷积核，滤波的过程称为卷积。 图像卷积效果图 卷积的过程 一 卷积的几个基本概念 1 卷积核的大小 卷积核一般为奇数，如3X3,5X5,7X7等。 一方面是增加padding的原因。 另一…
阅读更多...
TCP相关细节

TCP相关细节

1. 常用TCP参数 1.1 ReceiveBufferSize ReceiveBuffersize指定了操作系统读缓冲区的大小， 默认值是8192(如图5-10 所示)。在第4章的例子中,会有"假设操作系统缓冲区的长度是8" 这样的描述,可通过socket.ReceiveBufferSize 8 实现。当接收端缓冲区满了的时…
阅读更多...
【AIGC】MetaGPT原理以及应用

【AIGC】MetaGPT原理以及应用

目录 MetaGPT原理 MetaGPT应用 MetaGPT和传统编程语言相比有什么优势和劣势 视频中的PPT 参考资料 MetaGPT原理 MetaGPT是一种多智能体框架，它结合了元编程技术，通过标准化操作程序（SOPs）来协调基于大语言模型的多智能体系统…
阅读更多...
【问题】YOLOv9不能打印计算量问题的解决方法

【问题】YOLOv9不能打印计算量问题的解决方法

【问题】改进YOLOv9后，发现训练过程中没有输出Gflops的值，如下图所示。 【解决方法】修改ultralytics/utils/torch_utils.py文件的内容。 stride = max(int(model.stride.max()), 32) if hasattr(model, stride) else 32 # max stride 修
阅读更多...
GenICam标准（六）

GenICam标准（六）

系列文章目录 GenICam标准（一） GenICam标准（二） GenICam标准（三） GenICam标准（四） GenICam标准（五） GenICam标准（六） 文章目录 系列文…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023