前期Hadoop学习总结

news2025/1/15 20:39:45

前期Hadoop学习总结

1.Linux：操作系统

2.虚拟机：主机

3.SecureCRT （客户端）：连接Linux 方便操作

4.Hadoop：软件这个软件要装在Linux里面

5.Hadoop是干嘛的：

Hadoop是一个开源的分布式计算框架，主要用于存储和处理大规模数据集。它提供了一个可靠、可扩展的平台，能够在集群中运行大规模数据处理应用。

Hadoop的主要组件包括：

1） Hadoop分布式文件系统（HDFS）：这是Hadoop的核心组件之一，用于存储大规模数据集。HDFS将数据分布式存储在集群的各个节点上，以保证数据的高可靠性和可扩展性。

2） MapReduce：MapReduce是Hadoop中用于并行处理大规模数据的编程模型和执行框架。它将数据处理任务分解成Map（映射）和Reduce（归约）两个阶段，可以在集群中并行执行，从而实现高效的数据处理。

3） YARN（Yet Another Resource Negotiator）：YARN是Hadoop的资源管理器，负责集群资源的管理和任务调度。它允许多个数据处理应用同时在同一集群上运行，提高了集群资源的利用率。

4） Hadoop Common：这是Hadoop的公共库和工具集，包括一些基本的工具和实用程序，为其他Hadoop组件提供支持。

Hadoop的应用领域包括但不限于：

- 大数据分析：Hadoop可以处理大规模的结构化和非结构化数据，用于数据挖掘、机器学习、数据清洗等任务。

- 日志处理：许多公司和组织使用Hadoop来处理大量的日志数据，从中提取有用的信息和洞察。

- 实时数据处理：通过与其他技术（如Apache Spark、Apache Flink等）结合，Hadoop也可以用于实时数据处理和流式计算。

- 数据仓库：Hadoop可以作为数据仓库的一部分，用于存储和管理企业的大数据，支持企业决策和分析。

总之，Hadoop为处理大规模数据提供了强大的工具和平台，对于需要处理海量数据的企业和组织来说，是一种非常有价值的解决方案。

6.Hadoop安装

【Hadoop大数据处理技术-安装配置篇 - CSDN App】http://t.csdnimg.cn/5cQWS

【Hadoop大数据处理技术-配置连接篇 - CSDN App】http://t.csdnimg.cn/QiFcy

【Hadoop学习前jdk的配置 - CSDN App】http://t.csdnimg.cn/noAKa

【Hadoop的安装及配置 - CSDN App】http://t.csdnimg.cn/vkzsi

【Hadoop 启动！ - CSDN App】http://t.csdnimg.cn/CNFeM

7.start-dfs.sh

我们想要使用Hadoop做一些相关的数据存储就要把相应的进程启动起来

8.start-yarn.sh

ResourceManager：老大负责调度

NodeManager：小弟数据在哪里就用哪个NodeManager处理数据

9.上传数据：hadoop fs -put Linux路径 Hadoop路径

10.查看数据：hadoop fs -ls /

11.利用JavaAPI将数据传到Hadoop上

将d:/a.txt上传到hadoop中的/目录下package com.pracle.example;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FSDataOutputStream;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import java.io.FileInputStream;import java.io.IOException;import java.net.URI;import java.net.URISyntaxException;public class Test2 {    public static void main(String[] args) throws URISyntaxException, IOException {        Configuration configuration=new Configuration();        FileSystem fs = FileSystem.get(new URI("hdfs://192.168.67.90:9000"), configuration);        FSDataOutputStream out = fs.create(new Path("/c.txt"));        FileInputStream input=new FileInputStream("d:/a.txt");        byte[] b=new byte[1024];        while (true){            int r=input.read(b);            if(r==-1){                break;            }else{                out.write(r);            }        }    }}