开源竞争-大数据项目期末考核

news2024/11/13 13:38:21

开源竞争:

自己没有办法完全掌握技术的时候就开源这个技术,培养出更多的技术依赖,让更多人完善你的技术,那么这不就是在砸罐子吗?一个行业里面总会有人砸罐子的,你不如先砸还能听个想。

客观现实:

{一年当中想学习的时间少,不想学习的时间多,想认真记录的时刻少,不想认真记录的时刻多。不想认真记录的时间多,认真记录的时间少。客观现实就是,专科里面学习氛围不是很好,自己带不动}

查看期末大数据项目的要求:

请同学们完成一主两从分布式集群搭建、

并开启hadoop、zookeeper、hbase等组件(使用预先完成的镜像包可以实现,但是前提的条件:预先处理好各个虚拟机的之间的网卡!查看自己相关的书籍(专业书籍名称:Hadoop大数据开发基础/大数据技术原理与应用/大数据导论)。)

在这里,采用直接已经安装成功的虚拟机配置:

注意:

(如果当你的虚拟机出现复制的时候,第三台从机出现问题,在VMware中可以进行选择对于虚拟机进行复制)

我们不需要双胞胎,我们需要一主两从的结构

改动点:

  1. 主机名
  2. ip地址

相关的知识点:

在Linux操作系统中修改虚拟机名称通常涉及两个方面:修改系统内部的主机名和修改虚拟化管理器中虚拟机的显示名称。以下是针对这两种情况的修改方法:

### 1. 修改系统内部的主机名

在Linux系统中,你可以通过修改`/etc/hostname`文件和`/etc/hosts`文件来更改系统的主机名。

#### 步骤如下:

1. **修改`/etc/hostname`文件**:


   打开终端,使用文本编辑器(如`nano`或`vi`)编辑`/etc/hostname`文件。

   ```bash
   sudo nano /etc/hostname
   ```

   将文件中的旧主机名替换为新主机名,然后保存并退出编辑器。

2. **修改`/etc/hosts`文件**:


   同样使用文本编辑器编辑`/etc/hosts`文件。

   ```bash
   sudo nano /etc/hosts
   ```

   找到与旧主机名相关的行,将其中的旧主机名替换为新主机名。确保IP地址和新主机名的对应关系正确。

3. **重启网络服务**(可选,取决于你的Linux发行版):


   有些系统可能需要重启网络服务以使更改生效。

   ```bash
   sudo systemctl restart networking
   ```

4. **重启系统**:


   为了让更改的主机名生效,你可能需要重启系统。

   ```bash
   sudo reboot
   ```

### 2. 修改虚拟化管理器中的虚拟机显示名称

如果你使用的是虚拟化软件(如VMware, VirtualBox等),你需要在虚拟化管理器中修改虚拟机的显示名称。

对于目前的我来说,自己的时间已经投入了:30min(30min搭建完一个集群的速度好快啊!)不过,我觉得,重新配置一台集群和自己搭建一台集群的速度一样,既然我没有办法掌握“大数据”的技术,那我就开源这个技术吧!

#### VMware Workstation/Fusion为例:

1. 打开VMware Workstation/Fusion。
2. 选择你想要重命名的虚拟机。
3. 右键点击虚拟机,选择“重命名”或者“设置”。
4. 在弹出的窗口中,找到虚拟机名称的字段,输入新的名称。
5. 点击“确定”或“保存”以确认更改。

#### VirtualBox为例:

1. 打开VirtualBox。
2. 选择你想要重命名的虚拟机。
3. 右键点击虚拟机,选择“设置”。
4. 在“常规”标签页下,找到“名称”字段,输入新的名称。
5. 点击“确定”以确认更改。

请注意,虚拟化管理器中的名称更改不会影响操作系统内部的主机名,这两个名称可以是不同的。如果你需要在操作系统内部更改主机名,请按照第一部分的步骤操作。
 

查看开启集群的进程。 


从0开始1的开始弄:

首先当然是最为关键的vmware了!

虚拟机搭建教程_网络虚拟机怎么搭建-CSDN博客

CentOS7最小化详细安装与CentOS7下载网址_centos7 下载-CSDN博客

易错的点:

(选择上面Install CentOS 7安装,而不是中间的那个)

Vmware软件的序列号:(自己到网上去搜,搜索”VMware“序列号,注意版本号,借用余华老师的一句话:”我从来不打击盗版书,因为穷人买不起正版“。)

虚拟环境下载

在这里还要再添加两个软件:

  1. xftp(文件传输软件用的)
  2. xshell(用来输入文本命令的)

开始搭建之前,目前网上有两篇文章:

Hadoop的集群搭建windows基于VMware虚拟机超详细教程(一主二从)_master login-CSDN博客

第一个步骤(搭建虚拟机):

官网有下载,学生注册免费(备注:目前来说,人工智能还没有攻破大数据技术,1024程序员节上,阿里云副总裁说:“人工智能和大数据技术不是一个对立关系,而是一个相辅相成的关系,人工智能取代不了大数据独特的搜索引擎,“,在这里,我发出感叹了!大数据独特的搜索引擎是为了提供个性化服务的关键(所以一定要运用好这个独特的搜索引擎),至于人工智能(降低信息复杂度,提供答案,目前来说,人工智能计算机的推理能力还不足,计算力还不赶不上大数据)。)

开始遇到的第一个错误:

这张图片显示的是Linux系统进入紧急模式(emergency mode)的界面。

(以下的内容来源于:kimi智能编辑助手,速度嘎嘎快!就用ai)

核心内容如下:

1. **进入紧急模式**:

系统提示用户已经进入紧急模式,这通常发生在系统启动过程中遇到问题时。

2. **查看系统日志**:

用户可以通过输入`journalctl -xb`命令来查看系统日志,以诊断启动过程中出现的问题。

3. **重启或恢复默认设置**:

用户可以通过输入`systemctl reboot`来重启系统,或者通过`systemctl default`或按`^D`来尝试重新启动到默认模式。

4. **维护模式**:

系统要求用户输入root密码以进入维护模式,但用户多次输入的密码都不正确。

5. **SMBus Host Controller未启用**:

日志中显示了一个警告,指出SMBus Host Controller未启用。SMBus是一种用于系统管理的总线,通常用于监控硬件状态。

6. **登录尝试失败**:

用户多次尝试输入root密码,但都显示“Login incorrect”(登录不正确)。

这个界面通常出现在系统启动失败,需要管理员介入进行故障排除和修复的情况下。管理员需要知道正确的root密码才能继续操作。如果忘记了密码,可能需要通过其他方式重置密码,例如使用单用户模式或从Live CD/USB启动并挂载文件系统。

第二个步骤:配置java环境:

真不想开源,但是没有办法,开源开源开着玩。

基础环境-linux-安装jdk-解决bash: java: command not found..._-bash: java: command not found-CSDN博客

(如果有教材(Hadoop大数据开发基础)的同学可以直接按照课本上弄,课本上的没有问题,但是要注意虚拟环境,另一个关键:要开源,不开源什么事情都做不了!你不开源,我也不开源,他就要开源,他一开源,他挣钱了,你内心又过不去。)

这本书在拼多多上面二手书:6-10元左右(11点56分2024年11月5日),这本书,我反复看了很多遍,书中的坑,我都一一标识了,一并放在文件资源里面

(包含软件和镜像光盘,其实这些都是偷的操作系统老师的,如果感觉不错,就给这篇文章点点赞吧!同时关注一下:湖工职吧!当然更为关键是:关注我,关注我是可以带来实际的思考)

像个博士一样,感谢感谢!

如果有时间尽可能购买吧!也是在此感谢一下自己在湖北工业职业技术学院的计算机老师吧,就不一一感谢了,计算机老师都很称职,如果你也是一个技术控的,我推荐到湖北工业的智能学院,因为老师上课管理方式一个包容的状态,可能基础硬件设施不好,但是,如果湖北工业职业技术学院的智能工程的老师能够一直保持这种开放和包容的话,我觉得,在大数据时代,专科院校培养出技术型人才会更多。

高中太压抑了,导致我自己状态不好,满腔戾气,吐苦水吐了400多个视频,才让我现在舒服点,但是高中老师也不错。

请同学们把配置集群,开启集群的步骤,总结为word文档,写出步骤和命令,截图说明。

其实有的时候,学习计算机最大的问题:

没有记数和反馈

开源竞争(当你无法彻底掌握一个技术的时候就开源这个技术,培养出相关的技术依赖,让更多人帮助你完善你的技术,那么这不是砸罐子吗?一个行业里面总会有人砸罐子的,你不如先砸还能听个响声。)

至于我为什么会开源?因为这句话,是我在江汉大学(开放和包容的风气)在1024这个节点(江汉站,因为这个大学,确实给我提供了实质性帮助,所以,我觉得后面每次写文章的时候,都会给大家介绍一下这个学校的。)

是学长的介绍,stable profession的商业化项目落地的时候的介绍,开源竞争(因为他自己就在砸自己的罐子,计算机行业的发展速度快的原因也在于此:开源,正如经济全球化一样,越早开源对于自己越有利,你越能积攒出属于自己的数据。)

以10min为一个契机对其进行计数(每隔10min对其进行一次计数,微信小程序搜索躺平成长,里面有相关的数据统计,目前数据统计机制还不完善,但是最终会完善的。)


如何更好使用boss直聘:

市场可以帮助你解决,你自己最好的信息差,因为所有的信息差都可以通过市场消除,普通人没有办法预测未来时代的变化,就结合ai去看市场。

大学期间(专科计算机期间):

我可以用ai干点什么?

躺平成长-代码开发(08)-第八天-CSDN博客

当然是开发一个宇宙无敌超级厉害的小程序了,便宜的价格。

大学期间(专科期间,我要合群吗?)

不需要,生产构建生产关系,先培养自己的生产能力,随着你自己不断地培养自己的生产能力,良好的生产能力会给你带来良好的生产关系的。单纯卷大数据,要是ai能够帮助我们搭建hadoop就好了(真的有)!

不过也没有关系了,让我们照顾好自己的身体,多养生,照顾好身体,照顾好身体一切都有可能。还有就是使用一下学长的躺平成长。

是的,现在有AI可以帮助我们搭建Hadoop。根据搜索结果,有几个工具和平台可以辅助在Hadoop上部署和管理AI工作负载:

  1. Hadoop Submarine:这是一个统一的AI平台,允许工程师和数据科学家在分布式集群中运行机器学习和深度学习工作负载。Hadoop Submarine可以在资源管理平台(如YARN)上运行深度学习应用程序(如Tensorflow,Pytorch等),并支持多种机器学习框架,涵盖了整个机器学习过程,包括算法开发、模型批量训练、模型增量训练、模型在线服务和模型管理。

  2. TonY (TensorFlow on YARN):LinkedIn开源的一个框架,旨在让深度学习框架能够原生地运行在Apache Hadoop上。TonY支持多种主流深度学习框架,包括TensorFlow、PyTorch、MXNet和Horovod。它允许深度学习作业作为Hadoop应用程序直接运行,无需额外的资源管理层,提供了灵活性和可靠性。

这些工具和平台的出现,使得在Hadoop上部署和管理AI工作负载变得更加简单和高效。它们充分利用了Hadoop的分布式计算优势,为AI训练提供了强大的数据处理能力,并简化了部署和管理流程。

Hadoop Submarine 是一个旨在简化在 Hadoop 上运行分布式深度学习应用的项目。以下是关于 Hadoop Submarine 的一些关键功能和特点:

1. **简化分布式深度学习应用的启动和管理**:

Submarine 项目的目标是使分布式深度学习/机器学习应用程序易于启动、管理和监控。

2. **支持多种深度学习框架**:

Submarine 支持 TensorFlow、MXNet、PyTorch、Caffe、XGBoost 等多种深度学习框架,有时需要将这些框架组合使用以解决不同的问题。

3. **集成 TensorBoard**:

Submarine 允许用户通过 TensorBoard 访问所有的训练历史任务,方便监控训练状态和历史记录。

4. **云端数据科学家 NOTEBOOK**:

Submarine 提供了从 YARN 资源池获取云端 notebook 的能力,支持在 GPU 机器上使用笔记本编写算法。

5. **与 Zeppelin 集成**:

Submarine 与 Zeppelin 集成,Zeppelin 是一款基于网络的笔记本电脑,支持交互式数据分析,可以使用 SQL、Scala、Python 等来制作数据驱动的交互式协作文档。

6. **与 Azkaban 集成**:

Submarine 还集成了 Azkaban,这是一个工作流程调度服务,可以安排 Zeppelin 编写的 Hadoop Submarine Notebook,以调度具有执行依赖性的多个笔记本执行任务。

7. **提供安装程序**:

Submarine 提供了一个安装程序,用于运行时环境的安装,该安装程序完全由 Shell 脚本编写,提供了简单易用的菜单化操作方式,可以轻松便捷地安装好运行环境。

8. **项目状态**:

Alpha 版本的解决方案已经合并到 Hadoop 主干分支,3.2.0 版本的一部分仍处于活动开发/测试阶段。

Hadoop Submarine 通过提供全流程服务支持,包括数据采集、数据处理、数据清理、算法开发、资源调度、算法模型发布和作业调度,为深度学习场景提供了一个强大的平台。通过这些集成和功能,Submarine 旨在降低在 Hadoop 上部署和管理深度学习工作负载的复杂性。
 

家人们,还是都去学人工智能吧!等我了解一下奥,说不上来,我们所面对的挑战巨大,重复的脑力运动就不要做做了吧!交给ai对其进行处理,好好想想,什么是自己的创造力的体现,另外,什么事情都不要造假(包括学历,认知霸凌和智力霸凌,就不要搞了,开源多搞搞!)。

开始干活,写完200个字,自己就开始投5个简历。

开始干活,写完200个字,再投5个简历。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2237652.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

11月7日星期四今日早报简报微语报早读

11月7日星期四,农历十月初七,早报#微语早读。 1、河南:旅行社组织1000人次境外游客在豫住宿2夜以上,可申请激励奖补; 2、主播宣称下播后商品恢复原价构成欺诈,广州市监:罚款5万元;…

HTMLCSS:3D 旋转卡片的炫酷动画

效果演示 这段代码是一个HTML和CSS的组合&#xff0c;用于创建一个具有3D效果的动画卡片。 HTML <div class"obj"><div class"objchild"><span class"inn6"><h3 class"text">我是谁&#xff1f;我在那<…

词嵌入方法(Word Embedding)

词嵌入方法&#xff08;Word Embedding&#xff09; Word Embedding是NLP中的一种技术&#xff0c;通过将单词映射到一个空间向量来表示每个单词 ✨️常见的词嵌入方法&#xff1a; &#x1f31f;Word2Vec&#xff1a;由谷歌提出的方法&#xff0c;分为CBOW&#xff08;conti…

2024下半年系统架构师考试【回忆版】

2024年11月10日&#xff0c;系统架构师考试如期举行&#xff0c;屡战屡败的参试倒是把北京的学校转了好几所。 本次考试时间 考试科目考试时间综合知识、案例分析8:30 - 12:30论文14:30 - 16:30 案例分析 1、RESTful 对于前后端的优势&#xff1b; 2、心跳相对于ping/echo的…

最简单解决NET程序员在centos系统安装c#网站

目前随着技术栈转移&#xff0c;c#程序员如何在linux服务器中部署net程序呢&#xff1f; 我做了一次实验&#xff1a;一般来说runtime和sdk都要装。 1.centos系统内命令行输入命令 sudo yum install dotnet-sdk-6.0 安装6.0版 2.检测下是否成功&#xff1a;dotnet --versio…

参数估计理论

估计理论的主要任务是在某种信号假设下&#xff0c;估算该信号中某个参数&#xff08;比如幅度、相位、达到时间&#xff09;的具体取值。 参数估计&#xff1a;先假定研究的问题具有某种数学模型&#xff0c; 如正态分布&#xff0c;二项分布&#xff0c;再用已知类别的学习样…

java多线程stop() 和 suspend() 方法为何不推荐使用?

大家好&#xff0c;我是锋哥。今天分享关于【java多线程stop() 和 suspend() 方法为何不推荐使用&#xff1f;】面试题。希望对大家有帮助&#xff1b; java多线程stop() 和 suspend() 方法为何不推荐使用&#xff1f; 1000道 互联网大厂Java工程师 精选面试题-Java资源分享网…

嵌入式硬件电子电路设计(三)电源电路之负电源

引言&#xff1a;在对信号线性度放大要求非常高的应用需要使用双电源运放&#xff0c;比如高精度测量仪器、仪表等;那么就需要给双电源运放提供正负电源。 目录 负电源电路原理 负电源的作用 如何产生负电源 负电源能作功吗&#xff1f; 地的理解 负电压产生电路 BUCK电…

C++高级编程(8)

八、标准IO库 1.输入输出流类 1)非格式化输入输出 2)put #include <iostream> #include <string> ​ using namespace std; int main() {string str "123456789";for (int i str.length() - 1; i > 0; i--) {cout.put(str[i]); //从最后一个字符开…

Python 分子图分类,GNN Model for HIV Molecules Classification,HIV 分子图分类模型;整图分类问题,代码实战

一、分子图 分子图&#xff08;molecular graph&#xff09;是一种用来表示分子结构的图形方式&#xff0c;其中原子被表示为节点&#xff08;vertices&#xff09;&#xff0c;化学键被表示为边&#xff08;edges&#xff09;。对于HIV&#xff08;人类免疫缺陷病毒&#xff…

如何调整pdf的页面尺寸

用福昕阅读器打开pdf&#xff0c;进入打印页面&#xff0c;选择“属性”&#xff0c;在弹出的页面选择“高级” 选择你想调成的纸张尺寸&#xff0c;然后打印&#xff0c;打印出来的pdf就是调整尺寸后的pdf

查缺补漏----用户上网过程(HTTP,DNS与ARP)

&#xff08;1&#xff09;HTTP 来自湖科大计算机网络微课堂&#xff1a; ① HTTP/1.0采用非持续连接方式。在该方式下&#xff0c;每次浏览器要请求一个文件都要与服务器建立TCP连接当收到响应后就立即关闭连接。 每请求一个文档就要有两倍的RTT的开销。若一个网页上有很多引…

koa、vue安装与使用

koa官网&#xff1a;https://koajs.com/ 首选创建一个文件夹&#xff1a;mkdir koaDemo (cmd即可) 文件夹初始化&#xff1a;npm init (cmd即可) 初始化完成后就会产生一个package.json的文件。 安装&#xff1a; npm install koa --save (vscode的控制台中安装&a…

Linux:版本控制器git的简单使用+gdb/cgdb调试器的使用

一&#xff0c;版本控制器git 1.1概念 为了能够更方便我们管理不同版本的文件&#xff0c;便有了版本控制器。所谓的版本控制器&#xff0c;就是能让你 了解到⼀个文件的历史&#xff0c;以及它的发展过程的系统。通俗的讲就是⼀个可以记录工程的每⼀次改动和版本迭代的⼀个…

ML 系列:第 21 节 — 离散概率分布(二项分布)

一、说明 二项分布描述了在固定数量的独立伯努利试验中一定数量的成功的概率&#xff0c;其中每个试验只有两种可能的结果&#xff08;通常标记为成功和失败&#xff09;。 二、探讨伯努利模型 例如&#xff0c;假设您正在抛一枚公平的硬币 &#xff08;其中正面成功&#xff…

【优选算法篇】微位至简,数之恢宏——解构 C++ 位运算中的理与美

文章目录 C 位运算详解&#xff1a;基础题解与思维分析前言第一章&#xff1a;位运算基础应用1.1 判断字符是否唯一&#xff08;easy&#xff09;解法&#xff08;位图的思想&#xff09;C 代码实现易错点提示时间复杂度和空间复杂度 1.2 丢失的数字&#xff08;easy&#xff0…

存算分离与计算向数据移动:深度解析与Java实现

背景 随着大数据时代的到来&#xff0c;数据量的激增给传统的数据处理架构带来了巨大的挑战。传统的“存算一体”架构&#xff0c;即计算资源与存储资源紧密耦合&#xff0c;在处理海量数据时逐渐显露出其局限性。为了应对这些挑战&#xff0c;存算分离&#xff08;Disaggrega…

WPS单元格重复值提示设置

选中要检查的所有的单元格 设置提示效果 当出现单元格值重复时&#xff0c;重复的单元格就会自动变化 要修改或删除&#xff0c;点击

Linux笔记之pandoc实现各种文档格式间的相互转换

Linux笔记之pandoc实现各种文档格式间的相互转换 code review! 文章目录 Linux笔记之pandoc实现各种文档格式间的相互转换1.安装 Pandoc2.Word转Markdown3.markdown转html4.Pandoc 支持的一些常见格式4.1.输入格式4.2.输出格式 1.安装 Pandoc sudo apt-get install pandoc # …

MySQL重难点(一)索引

目录 一、引子&#xff1a;MySQL与磁盘间的交互基本单元&#xff1a;Page 1、重要问题&#xff1a;为什么 MySQL 每次与磁盘交互&#xff0c;都要以 16KB 为基本单元&#xff1f;为什么不用多少加载多少&#xff1f; 2、有关MySQL的一些共识 3、如何管理 Page 3.1 单个 P…