智警杯半决赛知识点

news2024/11/7 22:43:00

hive:

启动hadoop

启动本地连接,连接外网

主机就是外网IP

1.修改云主机host文件,添加内网ip,对应映射名为hadoop000,实现云主机自身使用root用户ssh访问hadoop000免密登录

改host文件     vim/etc/hosts

 比赛时会提供内网IP,修改后如下

 :wq 保存

 发现未对主机名进行修改

修改主机名       hostnamectl set-hostname hadoop000

完成之后         bash

修改成功

 ssh免密操作已经完成了,直接进行免密登录即可

ssh 免密登录    ssh hadoop000

2.格式化HDFS文件系统

格式化命令  hadoop namenade -format

回车

出现successful字样,代表格式化成功

3.启动Hadoop集群

使用脚本命令一键启动     start-all.sh

 启动完成后,我们可以用  jps   看一下

 5个节点都已启动,代表启动完毕

4.开启mysql服务

他这里的环境是已经安装好了的,只需要开启对应的服务即可

开启服务     systemctl  start mysqld.service

 5.初始化Hive元数据库(数据库类型为mysql),进入Hive客户端,创建hive数据库

schematool -dbType mysql -initSchema  回车

 

 安装完成后跟上面图示一样  证明hive元数据库格式化完成

进入hive 客户端       hive        回车

创建hive对应数据库    create database hive;

创建成功

 

 1.创建project数据库

进入hive的终端

创建  create database if not exsits project;

 创建成功

2.project数据库下创建theft数据表,字段见任务说明,分割字符为‘,’

 依旧是在终端中使用

创建 create table if not exists project.theft(

        id string,

        case_type string,

        case_subtype string,

        casename string,

        loss string,

        case_source string,

        time_toplimit string,accept

        time_lowerlimit string,

        address string,

        accept_time string,

        report_time string)

        row format delimited fields terminated by ',';      

上述最后一句代码就是设置分割字符的代码

 回车即可  创建成功

3.使用load data 子句加载云主机数据/root/college/theft.csv据至管理表theft

load data local inpath '/root/college/theft.csv' into table project.theft;

4.统计2021年5月份发生的案件总数(以报案时间为准),结果写入云主机/root/theft/result/000000_0文件中

覆盖写入  insert overwrite local directory '/root/theft/result01'

设置的字段分隔符   row format delimited fields terminated by '\t'

数据来源                 select count(report_time) num from project.theft

 切分2021年05月的数据                where substr(report_time,1,8)='2021年05月';

               

 回车 运行

 

 查看 cat/root/theft/result01/000000_0

 5.统计2021年4月份经济损失总额(以报案时间为准),结果写入云主机/root/theft/result02/000000_0文件中

 分割元前面的字符串,就是金额

查看

 

 windows下所需安装的java,eclipse

1.本地安装jdk

由于比赛视频讲解介绍的环境变量,我无法查看,于是我就自己找方式安装了一个

jdk1.8下载安装教程_jdk1.8安装教程_沐恩_的博客-CSDN博客

提示以下即为安装成功

2.安装eclipse

 

 3.解压hadoop

 

 

 

 

 

hadoop.dll和winutils.exe拷贝到C:\Windows\System32

将winutils.exe拷贝到Hadoop安装包bin下

4.安装eclipse上hadoop插件

 

 这个时候hadoop插件已经安装成功

5.开启相关属性和视图

 

 

 有黄色小象,此时相关配置已打开,相关工具及插件安装完成

6.创建项目,连接hadoop集群并运行程序

 

 注意此时在windows中是添加的外网ip和主机名

检查集群是否开启

 

 名字可以随意取

host改成外网IP

DFS Master PORT改成9000

 

 程序开发

 

 

 

 

 后续就运行程序即可

SQL数据分析

 终端连接

 开启mysql服务

 连接数据库

-p 后是密码

 创建数据库

使用数据库,创建表

找一下数据文件路径

 

 

上传数据文件

 首先再次连接一下mysql

用数据库,导入数据文件,路径一定不能出错

 

 用navicat连接

点击连接mysql,host外网ip,root,密码题目会给

新建查询,做题

对三张表熟悉明确哪里,是哪里

第6题

 

 第7个题

第8题

 第9题

 第10题

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/624645.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

【论文阅读】(2023.05.10-2023.06.03)论文阅读简单记录和汇总

(2023.05.10-2023.06.08)论文阅读简单记录和汇总 2023/05/10:今天状态,复阳大残,下午淋了点雨吹了点风,直接躺了四个小时还是头晕- -应该是阳了没跑了。 2023/06/03:前两周出差复阳,这两周调整作息把自己又…

第十三届蓝桥杯c++b组国赛题解(还在持续更新中...)

第十三届蓝桥杯Cb组国赛真题pdf自取 试题A:2022 解题思路: 有2022个物品,它们的编号分别是1到2022,它们的价值分别等于它们的编号。也就是说,有2022种物品,物品价值等于物品编号。 从2022个物品种选取10个…

虹科案例 | 虹科Dimetix激光测距传感器可实现无接触式监测采矿设备健康状况!

Part.01 行业挑战 采矿业机器的环境条件通常非常恶劣,损坏的设备会导致生产力和利润下降。虹科虹科Dimetix激光测距传感器为采矿设备和危险区域机器的机器健康监测提供了非接触式解决方案。 采矿操作中的处理设备通常包括分离、混合和粉碎矿石的机械设备。许多重型…

客户线上反馈:从信息搜集到疑难 bug 排查全流程经验分享

写在前面:本文是我在前端团队的第三次分享,应该很少会有开发者写客户反馈处理流程以及 bug 排查的心得技巧,全文比较长,写了一个多星期大概1W多字(也是我曾经2年工作的总结),如果你有耐心阅读&a…

因数据库字段可存储长度设置的小了,已达到设置字符类型的存储上限,导致数据存储时报错 及 常用的数据类型

项目场景: 提示:这里简述项目相关背景: 使用MySQL数据库,因数据库字段可存储长度设置的小了,已达到设置字符类型的存储上限,导致数据存储时报错 问题描述 提示:这里描述项目中遇到的问题&am…

2天刷完这套八股文,offer到手啦?

前言 大家好,最近有不少小伙伴在后台留言,得准备面试了,又不知道从何下手!为了帮大家节约时间,特意准备了一份面试相关的资料,内容非常的全面,真的可以好好补一补,希望大家在都能拿…

我的GIT练习Three

目录 前言 GIT安装教程 Git作者 GIT优点 GIT缺点 为什么要使用 Git GIT练习Three 总结 前言 Git 是一个分布式版本控制及源代码管理工具;Git 可以为你的项目保存若干快照,以此来对整个项目进行版本管理 GIT安装教程 点击进入查看教程:点击进入 G…

(深入浅出)详解虚拟内存

概述 我们都知道一个进程是与其他进程共享CPU和内存资源的。正因如此,操作系统需要有一套完善的内存管理机制才能防止进程之间内存泄漏的问题。 为了更加有效地管理内存并减少出错,现代操作系统提供了一种对主存的抽象概念,即是虚拟内存&am…

从未尝试过的 7 种处理 CSS 的方法

啊,Web 开发的世界——您可以从学习 HTML、JavaScript,当然还有 CSS 等基础知识开始。 但是一旦你在现实世界中构建应用程序,纯 CSS 就不再适用了。 挣扎是真的。 因此,今天我们将深入探讨使用 NextJS 为 React 应用程序编写 CSS…

NLP与GPT联合碰撞:大模型与小模型联合发力

目录标题 NLP是什么东西?Al大小模型联合发力 NLP是自然语言处理,而GPT是自然语言生成模型。 它们的联合碰撞结果是大模型与小模型联合发力,是因为大模型可以提供更好的语言理解和生成能力,而小模型则可以更快地进行推理和预测。 …

考虑微网新能源经济消纳的共享储能优化配置(Matlab代码实现)

💥💥💞💞欢迎来到本博客❤️❤️💥💥 🏆博主优势:🌞🌞🌞博客内容尽量做到思维缜密,逻辑清晰,为了方便读者。 ⛳️座右铭&a…

【剑指offer专项突破版】字符串篇——“C“

前言 剑指offer专项突破版(力扣官网)——> 点击进入 本文所属专栏——>点击进入 一.字符串中的变位词 题目分析 总结 要求——在字符串2中找到字符串的1的排列顺序之一 数据格式——仅包含小写字母——哈希表! 返回值——bool值 思路分…

国产数据库有哪些?关键行业数据库为何一定要国产化?

国产数据库主要有以下几种: 1. 中国数据库(ChinaDB):由中国科学院计算技术研究所开发的关系型数据库系统。 2. 华为GaussDB(高斯数据库):国内首个软硬协同、全栈自主的国产数据库GaussDB&…

操作系统-内存管理-内存管理

目录 一、内存概念 1.1程序的链接 静态链接 装入时动态链接 运行时动态链接 1.2 程序的装入 绝对装入 可重定位装入(静态重定位) 动态运行时装入(动态重定位) 1.3内存空间的扩充 1.3.1覆盖 1.3.2交换技术 1.4连续管理分配管理方式 1.4.1单一连续分配 1.4.2固定分区分…

设计师必备!Axure RP10汉化版下载,一站式工具满足所有需求!

Axure RP10 汉化版是一款全新的原型、设计、交付工具,它兼容 Axure、Figma、Sketch 和 Adobe XD 等格式,提供一站式协同设计,帮助团队高效工作。在本文中,我们将为你介绍 Axure RP10 汉化版即时设计的下载和安装步骤,让…

c++学习——多态

多态 **多态的语法****多态的底层原理图****多态案1——计算机类****纯虚函数和抽象类****多态案例2——饮品****虚析构和纯虚析构****多态案例3—— 电脑组装** 多态是C面向对象三大特性之一 多态分为两类 静态多态:函数重载和运算符重载属于静态多态,复用函数名 动…

ssm本地上传文件

SSM实现图片本地上传并保存到本地磁盘中 功能描述 实现房屋租赁网站中添加房屋信息的功能。其中add.jsp页面是一个表单提交信息——添加房屋 首先输入房屋的相关信息,并上传房屋的图片。上传成功后会将图片的名字添加到数据库中成功后跳转到success.jsp&#xff…

华为OD机试 Java 实现【简单密码】【牛客练习题 HJ21】,附详细解题思路

一、题目描述 现在有一种密码变换算法。 九键手机键盘上的数字与字母的对应: 1--1, abc--2, def--3, ghi--4, jkl--5, mno--6, pqrs--7, tuv--8 wxyz--9, 0--0,把密码中出现的小写字母都变成九键键盘对应的数字,如:a …

【PaperReading】科学可重复的基因组富集: CERNO 与其他八种算法的比较

Gene set enrichment for reproducible science: comparison of CERNO and eight other algorithms 可重复性科学的基因组富集: CERNO 与其他八种算法的比较1. 引言2. 材料和方法2.1 CERNO算法2.2 进一步用于评估的算法2.3 数据集2.4 算法评估指标3. 结果3.1 CERNO算法的不同排…

【前端 - HTML】第 2 课 - HTML 标签

欢迎来到博主 Apeiron 的博客,祝您旅程愉快 ! 时止则止,时行则行。动静不失其时,其道光明。 目录 1、缘起 2、标题标签 3、段落标签 4、文本格式化标签 5、图像标签 5.1、基本作用 5.2、属性 6、超链接标签 7、音频标…