ubuntu18.04 64 位安装笔记——备赛笔记——2024全国职业院校技能大赛“大数据应用开发”赛项—

ubuntu18.04 64 位安装笔记——备赛笔记——2024全国职业院校技能大赛“大数据应用开发”赛项——任务2：离线数据处理

news2024/11/24 2:47:55

进入VirtuakBox官网，网址链接：Oracle VM VirtualBoxhttps://www.virtualbox.org/

网页连接：Ubuntu Virtual Machine Images for VirtualBox and VMwarehttps://www.osboxes.org/ubuntu/

将下发的ds_db01.sql数据库文件放置mysql中

12、编写Scala代码，使用Spark将MySQL的ds_db01库中表user_info的全量数据抽取到Hive的ods库中表user_info。字段名称、类型不变，同时添加静态分区，分区字段为etl_date，类型为String，且值为当前日期的前一天日期（分区字段格式为yyyyMMdd）。使用hive cli执行show partitions ods.user_info命令，将结果截图粘贴至答案表.docx中对应的任务序号下；

13、编写Scala代码，使用Spark将MySQL的ds_db01库中表sku_info的全量数据抽取到Hive的ods库中表sku_info。字段名称、类型不变，同时添加静态分区，分区字段为etl_date，类型为String，且值为当前日期的前一天日期（分区字段格式为yyyyMMdd）。使用hive cli执行show partitions ods.sku_info命令，将结果截图粘贴至答案表.docx中对应的任务序号下；

软件名称	版本
ubuntu	18.04 64 位
Hadoop：hadoop-3.1.3.tar.gz	3.1.3
Jdk：jdk-8u212-linux-x64.tar.gz	1.8
Spark：spark-3.1.1-bin-hadoop3.2.tgz	3.1.1
Hive：apache-hive-3.1.2-bin.tar.gz	3.1.2
MySQL	5.7
Scala：scala-2.12.x.tgz	2.12
Vue.js	3.2
ECharts	5.1
JDBC驱动： mysql-connector-java-5.1.37.jar
集成开发工具：IDEA 2022 社区版

一、下载并安装virtualbox

VirtualBox是功能强大的x86和AMD64/Intel64虚拟化企业和家庭使用的产品。VirtualBox不仅是面向企业客户的功能极其丰富的高性能产品，它还是唯一一个根据GNU通用公共许可证(GPL)第3版条款作为开源软件免费提供的专业解决方案。参见"关于VirtualBox“做个介绍。

目前，VirtualBox运行在Windows、Linux、macOS和Solaris主机上，并支持大量来宾操作系统包括但不限于Windows (NT 4.0、2000、XP、Server 2003、Vista、Windows 7、Windows 8、Windows 10)、DOS/Windows 3.x、Linux (2.4、2.6、3.x和4.x)、Solaris和OpenSolaris、OS/2和OpenBSD。

VirtualBox正在积极开发，发布频繁，功能、支持的客户操作系统和运行平台越来越多。VirtualBox是一个由专门公司支持的社区项目:鼓励每个人都做出贡献，同时Oracle确保产品始终符合专业质量标准。

virtualbox7.0.8版本的安装

1.进入VirtuakBox官网，网址链接：Oracle VM VirtualBoxhttps://www.virtualbox.org/

选择左侧的Downloads。

2.进入界面如下，选择如下库红框中的选项，点击即可下载。

3.下载后得到目标程序

4.安装过程点击next，选择自己安装路径即可。

安装成功后进入的初始界面

二、Ubuntu的下载与安装

ubuntu是一个全功能的Linux操作系统，它基于Debian发行版，可以在社区和专业支持下免费获得，unity是它的默认桌面环境。其他桌面默认提供其他风格的Ubuntu，比如Ubuntu Gnome、Lubuntu、Xubuntu等等。一个紧密集成的优秀应用程序的选择包括在内，令人难以置信的各种附加软件只是点击几下鼠标。Ubuntu的默认安装包含了广泛的软件，包括LibreOffice、Firefox、Empathy、Transmission等。Ubuntu的开发由典范有限公司。南非企业家马克·舒托沃尔斯拥有的一家公司。