使用Java API操作HDFS

news2024/11/27 21:00:23

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

文章目录

  • 学习目标
  • （一）了解HDFS Java API
    • 1、HDFS常见类与接口
    • 2、FileSystem的常用方法
  • （二）编写Java程序访问HDFS
    • 1、创建Maven项目
    • 2、添加相关依赖
    • 3、创建日志属性文件
    • 4、启动集群HDFS服务
    • 5、在HDFS上创建文件
    • 6、写入HDFS文件
    • 7、读取HDFS文件
    • 8、重命名目录或文件
    • 9、显示文件列表
    • 10、获取文件块信息
    • 11、创建目录
    • 12、判断目录或文件是否存在
    • 13、判断Path指向目录还是文件
    • 14、删除目录或文件

学习目标

  1. 了解HDFS Java API
  2. 掌握使用Java API操作HDFS

由于Hadoop是使用Java语言编写的，因此可以使用Java API操作Hadoop文件系统。HDFS Shell本质上就是对Java API的应用，通过编程的形式操作HDFS，其核心是使用HDFS提供的Java API构造一个访问客户端对象，然后通过客户端对象对HDFS上的文件进行操作（增、删、改、查）。

（一）了解HDFS Java API

  • Hadoop文件系统API文档：https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/filesystem/index.html
    在这里插入图片描述

1、HDFS常见类与接口

  • Hadoop整合了众多文件系统，HDFS只是这个文件系统的一个实例。
    在这里插入图片描述

2、FileSystem的常用方法

  • FileSystem类API文档：https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/filesystem/filesystem.html
    在这里插入图片描述
  • FileSystem对象的一些方法可以对文件进行操作
    在这里插入图片描述

（二）编写Java程序访问HDFS

1、创建Maven项目

  • 创建Maven项目 - HDFSDemo
    在这里插入图片描述
  • 单击【Finish】按钮
    在这里插入图片描述

2、添加相关依赖

  • 在pom.xml文件里添加hadoop和junit依赖
    在这里插入图片描述
<dependencies>             
    <!--hadoop客户端-->                       
    <dependency>                                  
        <groupId>org.apache.hadoop</groupId>      
        <artifactId>hadoop-client</artifactId>    
        <version>3.3.4</version>                  
    </dependency>     
    <!--单元测试框架-->                            
    <dependency>                                  
        <groupId>junit</groupId>                  
        <artifactId>junit</artifactId>            
        <version>4.13.2</version>                 
    </dependency>                                 
</dependencies>
  • Maven Repository（Maven仓库）
  • https://mvnrepository.com/
  • 在这里插入图片描述
  • 搜索hadoop
    在这里插入图片描述
  • 单击hadoop-client超链接
    在这里插入图片描述
  • 单击3.3.4超链接
    在这里插入图片描述

3、创建日志属性文件

  • 在resources目录里创建log4j.properties文件
    在这里插入图片描述

4、启动集群HDFS服务

  • 在主节点上执行命令：start-dfs.sh
    在这里插入图片描述
  • 在Hadoop WebUI界面查看
    在这里插入图片描述

5、在HDFS上创建文件

  • 在HDFS Shell里利用hdfs dfs -touchz命令可以创建时间戳文件
  • 任务：在/ied01目录创建hadoop.txt文件
  • 创建net.hw.hdfs包，在包里创建CreateFileOnHDFS类
    在这里插入图片描述
  • 编写create1()方法
package net.at.hdfs;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.junit.Test;
import java.net.URI;
/**
 * 功能：在HDFS上创建文件
 * 作者：Argonaut
 * 日期：2022年11月30日
 */
public class CreateFileOnHDFS {
    @Test
    public void create1() throws Exception {
        // 创建配置对象
        Configuration conf = new Configuration();
        // 定义统一资源标识符（uri: uniform resource identifier）
        String uri = "hdfs://master:9000";
        // 创建文件系统对象（基于HDFS的文件系统）
        FileSystem fs = FileSystem.get(new URI(uri), conf);
        // 创建路径对象（指向文件）
        Path path = new Path(uri + "/ied01/hadoop.txt");
        // 基于路径对象创建文件
        boolean result = fs.createNewFile(path);
        // 根据返回值判断文件是否创建成功
        if (result) {
            System.out.println("文件[" + path + "]创建成功！");
        } else {
            System.out.println("文件[" + path + "]创建失败！");
        }
    }
}
  • 注意：别导错包
    在这里插入图片描述
  • 运行程序，查看结果
    在这里插入图片描述
  • 利用Hadoop WebUI查看
    在这里插入图片描述
  • 在/ied01目录里确实创建了一个0字节的hadoop.txt文件，有点类似于Hadoop Shell里执行hdfs dfs
    -touchz /ied01/hadoop.txt命令的效果，但是有一点不同，hdfs dfs -touchz命令重复执行，不会失败，只是不断改变该文件的时间戳。
  • 再次运行程序，由于hadoop.txt已经存在，此时会提示用户创建失败
    在这里插入图片描述
  • 能否事先判断文件是否存在呢？我们去查看Hadoop FileSystem API文档
    https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/filesystem/filesystem.html
    在这里插入图片描述
  • 查看exists(Path path)方法
    在这里插入图片描述
  • 编写create2()方法，事先判断文件是否存在
    在这里插入图片描述
@Test                                                                    
public void create2() throws Exception {                                 
    // 创建配置对象                                                            
    Configuration conf = new Configuration();                            
    // 定义统一资源标识符（uri：uniform resource identifier)                        
    String uri = "hdfs://master:9000";                                   
    // 创建文件系统对象（基于HDFS的文件系统）                                             
    FileSystem fs = FileSystem.get(new URI(uri), conf);                  
    // 创建路径对象                                                            
    Path path = new Path(uri + "/ied01/hadoop.txt");                     
    // 判断路径对象指向的文件是否存在                                                   
    if (fs.exists(path)) {                                               
        // 提示用户文件已存在                                                     
        System.out.println("文件[" + path + "]已经存在！");                     
    } else {                                                             
        // 基于路径对象创建文件                                                    
        boolean result = fs.createNewFile(path);                         
        // 根据返回值判断文件是否创建成功                                               
        if (result) {                                                    
            System.out.println("文件[" + path + "]创建成功！");                 
        } else {                                                         
            System.out.println("文件[" + path + "]创建失败！");                 
        }                                                                
    }                                                                    
}
  • 如果hadoop服务没有启动，运行程序会抛出连接异常
    在这里插入图片描述
  • 故意让HDFS进入安全模式（只能读，不能写），看看会出现什么状况？
  • 删除已经创建的/ied01/hadoop.txt
    在这里插入图片描述
  • 执行命令：hdfs dfsadmin -safemode enter
    在这里插入图片描述
    此时，再运行程序，查看结果，抛出SafeModeException异常
    在这里插入图片描述
  • 下面，修改程序，来处理这个可能会抛出的安全模式异常
@Test                                                                    
public void create2() throws Exception {                                 
    // 创建配置对象                                                            
    Configuration conf = new Configuration();                            
    // 定义统一资源标识符（uri: uniform resource identifier）                       
    String uri = "hdfs://master:9000";                                   
    // 创建文件系统对象（基于HDFS的文件系统）                                             
    FileSystem fs = FileSystem.get(new URI(uri), conf);                  
    // 创建路径对象（指向文件）                                                      
    Path path = new Path(uri + "/ied01/hadoop.txt");                     
    // 判断路径对象指向的文件是否存在                                                   
    if (fs.exists(path)) {                                               
        // 提示用户文件已存在                                                     
        System.out.println("文件[" + path + "]已经存在！");                     
    } else {                                                             
        try {                                                            
            // 基于路径对象创建文件                                                
            boolean result = fs.createNewFile(path);                     
            // 根据返回值判断文件是否创建成功                                           
            if (result) {                                                
                System.out.println("文件[" + path + "]创建成功！");             
            } else {                                                     
                System.out.println("文件[" + path + "]创建失败！");             
            }                                                            
        } catch (Exception e) {                                          
            System.err.println("异常信息：" + e.getMessage());                
        }                                                                
    }                                                                    
}
  • 运行程序，查看结果（虽然我们捕获了安全模式异常，但还是有一点系统抛出的异常信息）
    在这里插入图片描述
  • 关闭安全模式，执行命令：hdfs dfsadmin -safemode leave
    在这里插入图片描述
  • 再运行程序，查看效果
    在这里插入图片描述

6、写入HDFS文件

  • 类似于HDFS Shell里的hdfs dfs -put命令
  • 在net.hw.hdfs包里创建WriteFileOnHDFS类
    在这里插入图片描述
    （1）将数据直接写入HDFS文件
  • 任务：在/ied01目录里创建hello.txt文件
  • 创建write1()方法
package net.at.hdfs;


import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.junit.Test;

import java.net.URI;

/**
 * 功能：写入HDFS文件
 * 作者：Argonaut
 * 日期：2022年11月30日
 */
public class WriteFileOnHDFS {
    @Test
    public void write1() throws Exception {
        // 创建配置对象
        Configuration conf = new Configuration();
        // 定义统一资源标识符（uri: uniform resource identifier）
        String uri = "hdfs://master:9000";
        // 创建文件系统对象（基于HDFS的文件系统）
        FileSystem fs = FileSystem.get(new URI(uri), conf);
        // 创建路径对象（指向文件）
        Path path = new Path(uri + "/ied01/hello.txt");
        // 创建文件系统数据字节输出流（出水管：数据从程序到文件）
        FSDataOutputStream out = fs.create(path);
        // 通过字节输出流向文件写数据
        out.write("Hello Hadoop World".getBytes());
        // 关闭文件系统数据字节输出流
        out.close();
        // 关闭文件系统对象
        fs.close();
        // 提示用户写文件成功
        System.out.println("文件[" + path + "]写入成功！");
    }
}
  • 运行write1()测试方法，查看结果，抛出RemoteException异常，三个数据节点都在运行，但是无法写入数据
    在这里插入图片描述
  • 修改代码，设置数据节点主机名属性，如下图所示
    在这里插入图片描述
  • 运行程序，查看结果
    在这里插入图片描述
  • 利用Hadoop WebUI查看hello.txt文件
    在这里插入图片描述
    （2）将本地文件写入HDFS文件
  • 在项目根目录创建一个文本文件test.txt
    在这里插入图片描述
  • 创建write2()方法
@Test                                                                          
public void write2() throws Exception {                                        
    // 创建配置对象                                                                  
    Configuration conf = new Configuration();                                  
    // 设置数据节点主机名属性                                                             
    conf.set("dfs.client.use.datanode.hostname", "true");                      
    // 定义统一资源标识符（uri: uniform resource identifier）                             
    String uri = "hdfs://master:9000";                                         
    // 创建文件系统对象（基于HDFS的文件系统）                                                   
    FileSystem fs = FileSystem.get(new URI(uri), conf, "root");                
    // 创建路径对象（指向文件）                                                            
    Path path = new Path(uri + "/ied01/exam.txt");                             
    // 创建文件系统数据字节输出流（出水管：数据从程序到文件）                                             
    FSDataOutputStream out = fs.create(path);                                  
    // 创建文件字符输入流对象（进水管：数据从文件到程序）                                               
    FileReader fr = new FileReader("test.txt");                                
    // 创建缓冲字符输入流对象                                                             
    BufferedReader br = new BufferedReader(fr);                                
    // 定义行字符串变量                                                                
    String nextLine = "";                                                      
    // 通过循环遍历缓冲字符输入流                                                           
    while ((nextLine = br.readLine()) != null) {                               
        // 在控制台输出读取的行                                                          
        System.out.println(nextLine);                                          
        // 通过文件系统数据字节输出流对象写入指定文件                                               
        out.write((nextLine + "\n").getBytes());                                        
    }                                                                          
    // 关闭缓冲字符输入流                                                               
    br.close();                                                                
    // 关闭文件字符输入流                                                               
    fr.close();                                                                
    // 关闭文件系统数据字节输出流                                                           
    out.close();                                                               
    // 提示用户写入文件成功                                                              
    System.out.println("本地文件[test.txt]成功写入[" + path + "]！");                   
}

在这里插入图片描述

  • 查看/ied01/exam.txt内容
    在这里插入图片描述
  • 其实这个方法的功能就是将本地文件复制（上传）到HDFS，有没有更简单的处理方法呢？有的，通过使用一个工具类IOUtils来完成文件的相关操作。
    在这里插入图片描述
  • 编写write2_()方法
    在这里插入图片描述
@Test                                                                  
public void write2_() throws Exception {                               
    // 创建配置对象                                                          
    Configuration conf = new Configuration();                          
    // 设置数据节点主机名属性                                                     
    conf.set("dfs.client.use.datanode.hostname", "true");              
    // 定义统一资源标识符（uri: uniform resource identifier）                     
    String uri = "hdfs://master:9000";                                 
    // 创建文件系统对象（基于HDFS的文件系统）                                           
    FileSystem fs = FileSystem.get(new URI(uri), conf, "root");        
    // 创建路径对象（指向文件）                                                    
    Path path = new Path(uri + "/ied01/test.txt");                     
    // 创建文件系统数据字节输出流（出水管：数据从程序到文件）                                     
    FSDataOutputStream out = fs.create(path);                          
    // 创建文件字节输入流（进水管：数据从文件到程序）                                         
    FileInputStream in = new FileInputStream("test.txt");              
    // 利用IOUtils类提供的字节拷贝方法在控制台显示文件内容                                   
    IOUtils.copyBytes(in, System.out, 1024, false);                    
    // 利用IOUtils类提供的字节拷贝方法来复制文件                                        
    IOUtils.copyBytes(in, out, conf);                                  
    // 关闭文件字节输入流                                                       
    in.close();                                                        
    // 关闭文件系统数据字节输出流                                                   
    out.close();                                                       
    // 提示用户写入文件成功                                                      
    System.out.println("本地文件[test.txt]成功写入[" + path + "]！");           
}
  • 注意导包问题
    在这里插入图片描述
  • 运行write2_()测试方法，查看结果
    在这里插入图片描述
  • 查看/ied01/test.txt内容，文件是存在的，但是没有内容，怎么回事呢？
    在这里插入图片描述
  • 因为字节输入流的数据已经输出到到控制台，此时字节输入流里已经没有数据，此时执行IOUtils.copyBytes(in, out,
    conf);，因此输出流肯定也没有数据可以写入文件，那该怎么办呢？再次读取文件，让字节输入流有数据。
    在这里插入图片描述
  • 查看/ied01/test.txt文件
    在这里插入图片描述

7、读取HDFS文件

  • 相当于Shell里的两个命令：hdfs dfs -cat和hdfs dfs -get
  • 在net.hw.hdfs包里创建ReadFileOnHDFS类
    在这里插入图片描述
    （1）读取HDFS文件直接在控制台显示
  • 准备读取hdfs://master:9000/ied01/test.txt文件
    在这里插入图片描述
  • 编写read1()方法
    在这里插入图片描述
package net.at.hdfs;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.junit.Test;

import java.io.BufferedReader;
import java.io.InputStreamReader;
import java.net.URI;

/**
 * 功能：读取HDFS文件
 * 作者：Argonaut
 * 日期：2022年11月30日
 */
public class ReadFileOnHDFS {
    @Test
    public void read1() throws Exception {
        // 创建配置对象
        Configuration conf = new Configuration();
        // 设置数据节点主机名属性
        conf.set("dfs.client.use.datanode.hostname", "true");
        // 定义统一资源标识符（uri: uniform resource identifier）
        String uri = "hdfs://master:9000";
        // 创建文件系统对象（基于HDFS的文件系统）
        FileSystem fs = FileSystem.get(new URI(uri), conf, "root");
        // 创建路径对象（指向文件）
        Path path = new Path(uri + "/ied01/test.txt");
        // 创建文件系统数据字节输入流（进水管：数据从文件到程序）
        FSDataInputStream in = fs.open(path);
        // 创建缓冲字符输入流，提高读取效率（字节流-->字符流-->缓冲流）
        BufferedReader br = new BufferedReader(new InputStreamReader(in));
        // 定义行字符串变量
        String nextLine = "";
        // 通过循环遍历缓冲字符输入流
        while ((nextLine = br.readLine()) != null) {
            // 在控制台输出读取的行
            System.out.println(nextLine);
        }
        // 关闭缓冲字符输入流
        br.close();
        // 关闭文件系统数据字节输入流
        in.close();
        // 关闭文件系统
        fs.close();
    }
}
  • 运行read1()测试方法，查看结果
    在这里插入图片描述
    （2）读取HDFS文件，保存为本地文件
  • 任务：将/ied01/test.txt下载到项目的download目录里
  • 创建download目录
    在这里插入图片描述
  • 创建read2()方法
    在这里插入图片描述
@Test                                                                           
public void read2() throws Exception {                                          
    // 创建配置对象                                                                   
    Configuration conf = new Configuration();                                   
    // 设置数据节点主机名属性                                                              
    conf.set("dfs.client.use.datanode.hostname", "true");                       
    // 定义统一资源标识符（uri: uniform resource identifier）                              
    String uri = "hdfs://master:9000";                                          
    // 创建文件系统对象（基于HDFS的文件系统）                                                    
    FileSystem fs = FileSystem.get(new URI(uri), conf, "root");                 
    // 创建路径对象（指向文件）                                                             
    Path path = new Path(uri + "/ied01/test.txt");                              
    // 创建文件系统数据字节输入流（进水管：数据从文件到程序）                                              
    FSDataInputStream in = fs.open(path);                                       
    // 创建文件字节输出流（出水管：数据从程序到文件）                                                  
    FileOutputStream out = new FileOutputStream("download/exam.txt");           
    // 利用IOUtils工具类读取HDFS文件（靠输入流），写入本地文件（靠输出流）                                  
    IOUtils.copyBytes(in, out, conf);                                           
    // 关闭文件字节输出流                                                                
    out.close();                                                                
    // 关闭文件系统数据字节流输入流                                                           
    in.close();                                                                 
    // 关闭文件系统                                                                   
    fs.close();                                                                 
    // 提示用户文件下载成功                                                               
    System.out.println("文件[" + path + "]下载到本地文件[download/exam.txt]！");          
}
  • 运行read2()测试方法，查看结果
    在这里插入图片描述

8、重命名目录或文件

  • 相当于Shell里的hdfs dfs -mv命令
  • 在net.hw.hdfs包里创建RenameDirOrFile类
    在这里插入图片描述
    （1）重命名目录
  • 任务：将/ied01目录更名为/lzy01
  • 编写renameDir()方法
    在这里插入图片描述
  • 运行renameDir()方法，查看结果

在这里插入图片描述

  • 利用Hadoop WebUI界面查看
    在这里插入图片描述
    （2）重命名文件
  • 任务：将lzy01目录下的hello.txt重命名为hi.txt
    在这里插入图片描述
  • 编写renameFile()方法
    在这里插入图片描述
  • 运行renameFile()测试方法，查看结果
    在这里插入图片描述
    在这里插入图片描述

9、显示文件列表

  • 在net.hw.hdfs包里创建ListHDFSFiles类
    在这里插入图片描述
    （1）显示指定目录下文件全部信息
  • 任务：显示/lzy01目录下的文件列表
    在这里插入图片描述
  • 编写list1()方法
package net.at.hdfs;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.LocatedFileStatus;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.fs.RemoteIterator;
import org.junit.Test;

import java.net.URI;

/**
 * 功能：显示文件列表
 * 作者：Argonaut
 * 日期：2022年11月26日
 */
public class ListHDFSFiles {
    @Test
    public void list1() throws Exception {
        // 创建配置对象
        Configuration conf = new Configuration();
        // 设置数据节点主机名属性
        conf.set("dfs.client.use.datanode.hostname", "true");
        // 定义uri字符串
        String uri = "hdfs://master:9000";
        // 创建文件系统对象
        FileSystem fs = FileSystem.get(new URI(uri), conf, "root");
        // 创建远程迭代器对象，泛型是位置文件状态类（相当于`hdfs dfs -ls -R /lzy01`）
        RemoteIterator<LocatedFileStatus> ri = fs.listFiles(new Path("/lzy01"), true);
        // 遍历远程迭代器
        while (ri.hasNext()) {
            System.out.println(ri.next());
        }
    }
}
  • 文件系统对象的listFiles()方法第二个参数设置true，这样可以将/lzy01目录的一切文件，包括子目录里的文件，都一网打尽
  • 运行list1()测试方法，查看结果
    在这里插入图片描述
  • 上述文件状态对象封装的有关信息，可以通过相应的方法来获取，比如getPath()方法就可以获取路径信息，getLen()方法就可以获取文件长度信息……

（2）显示指定目录下文件路径和长度信息

  • 编写list2()方法
    在这里插入图片描述
    在这里插入图片描述

10、获取文件块信息

  • 任务：获取/lzy01/hadoop-3.3.4.tar.gz文件块信息
    在这里插入图片描述
  • hadoop压缩包会分割成6个文件块
    在这里插入图片描述
  • 在net.hw.hdfs包里创建GetBlockLocations类
    在这里插入图片描述
  • 编写代码，获取文件块信息
package net.at.hdfs;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.BlockLocation;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

import java.net.URI;
import java.util.Arrays;

/**
 * 功能：获取文件块信息
 * 作者：Argonaut
 * 日期：2022年11月26日
 */
public class GetBlockLocations {
    public static void main(String[] args) throws Exception {
        // 创建配置对象
        Configuration conf = new Configuration();
        // 设置数据节点主机名属性
        conf.set("dfs.client.use.datanode.hostname", "true");
        // 定义uri字符串
        String uri = "hdfs://master:9000";
        // 创建文件系统对象
        FileSystem fs = FileSystem.get(new URI(uri), conf, "root");
        // 创建路径对象，指向文件
        Path path = new Path("/lzy01/hadoop-3.3.4.tar.gz");
        // 获取文件块信息
        BlockLocation[] blks = fs.getFileBlockLocations(path, 0, Integer.MAX_VALUE);
        // 利用Lambda表达式遍历块信息
        Arrays.asList(blks).forEach(blk -> System.out.println(blk));
    }
}
  • 大家可以尝试用传统for循环、增强for循环或迭代器来遍历块信息
// 利用增强for循环遍历块信息                                                   
for (BlockLocation blk : blks) {                                  
    System.out.println(blk);                                      
}    
                                                             
// 利用传统for循环遍历块信息                                                   
for (int i = 0; i < blks.length; i++) {                           
    System.out.println(blks[i]);                                  
}    
                                                             
// 利用迭代器遍历块信息                                                       
Iterator<BlockLocation> iterator = Arrays.asList(blks).iterator();  
while (iterator.hasNext()) {                                        
     System.out.println(iterator.next());                            
}
  • 运行程序，查看结果（切点位置，块大小，块存在位置）
    在这里插入图片描述

11、创建目录

  • 任务：在HDFS上创建/ied01目录
  • 在net.hw.hdfs包里创建MakeDirOnHDFS类
    在这里插入图片描述
package net.at.hdfs;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

import java.net.URI;

/**
 * 功能：在HDFS上创建目录
 * 作者：Argonaut
 * 日期：2022年11月26日
 */
public class MakeDirOnHDFS {
    public static void main(String[] args) throws Exception {
        // 创建配置对象
        Configuration conf = new Configuration();
        // 设置数据节点主机名属性
        conf.set("dfs.client.use.datanode.hostname", "true");
        // 定义uri字符串
        String uri = "hdfs://master:9000";
        // 创建文件系统对象
        FileSystem fs = FileSystem.get(new URI(uri), conf, "root");
        // 创建路径对象，指向目录
        Path path = new Path("/ied01");
        // 利用文件系统创建指定目录
        boolean result = fs.mkdirs(path);
        // 判断目录是否创建成功
        if (result) {
            System.out.println("目录[" + path + "]创建成功！" );
        } else {
            System.out.println("目录[" + path + "]创建失败！" );
        }
    }
}

在这里插入图片描述

12、判断目录或文件是否存在

  • 任务：判断HDFS上/ied01目录是否存在，判断/ied01/hadoop.txt文件是否存在
  • 在net.hw.hdfs包里创建DirFileExistsOrNot类
package net.at.hdfs;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.junit.Test;

import java.net.URI;

/**
 * 功能：判断目录或文件是否存在
 * 作者：Argonaut
 * 日期：2022年11月26日
 */
public class DirFileExistsOrNot {
    @Test
    public void dirExists() throws Exception {
        // 创建配置对象
        Configuration conf = new Configuration();
        // 设置数据节点主机名属性
        conf.set("dfs.client.use.datanode.hostname", "true");
        // 定义uri字符串
        String uri = "hdfs://master:9000";
        // 创建文件系统对象
        FileSystem fs = FileSystem.get(new URI(uri), conf, "root");
        // 创建路径对象，指向目录
        Path path = new Path("/ied01");
        // 判断目录是否存在
        if (fs.exists(path)) {
            System.out.println("目录[" + path + "]存在！");
        } else {
            System.out.println("目录[" + path + "]不存在！");
        }
    }
}

在这里插入图片描述

  • 编写fileExists()方法
    在这里插入图片描述

13、判断Path指向目录还是文件

  • 在net.hw.hdfs包里创建PathToFileOrDir类
    在这里插入图片描述
package net.at.hdfs;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

import java.net.URI;

/**
 * 功能：判断路径指向目录还是文件
 * 作者：Argonaut
 * 日期：2022年11月26日
 */
public class PathToFileOrDir {
    public static void main(String[] args) throws Exception {
        // 创建配置对象
        Configuration conf = new Configuration();
        // 设置数据节点主机名属性
        conf.set("dfs.client.use.datanode.hostname", "true");
        // 定义uri字符串
        String uri = "hdfs://master:9000";
        // 创建文件系统对象
        FileSystem fs = FileSystem.get(new URI(uri), conf, "root");

        // 创建路径对象，指向目录
        Path path1 = new Path("/ied08");
        if (fs.isDirectory(path1)) {
            System.out.println("[" + path1 + "]指向的是目录！");
        } else {
            System.out.println("[" + path1 + "]指向的是文件！");
        }

        // 创建路径对象，指向文件
        Path path2 = new Path("/lzy01/howard.txt");
        if (fs.isFile(path2)) {
            System.out.println("[" + path2 + "]指向的是文件！");
        } else {
            System.out.println("[" + path2 + "]指向的是目录！");
        }
    }
}

在这里插入图片描述

  • 结果明显不对，说明程序逻辑上有问题，原因在于/ied08目录不存在，/lzy01/howard.txt文件不存在，修改代码，加上目录或文件存在与否的判断
    在这里插入图片描述
    在这里插入图片描述

14、删除目录或文件

  • 类似于HDFS Shell里的hdfs dfs -rmdir和hdfs dfs -rm -r命令
  • 在net.hw.hdfs包里创建DeleteFileOrDir类
    （1）删除文件
    任务：删除/lzy01/hi.txt文件
    在这里插入图片描述
  • 编写deleteFile()方法
    在这里插入图片描述
package net.at.hdfs;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.junit.Test;

import java.net.URI;

/**
 * 功能：删除目录或文件
 * 作者：Argonaut
 * 日期：2022年12月02日
 */
public class DeleteFileOrDir {
    @Test
    public void deleteFile() throws Exception {
        // 创建配置对象
        Configuration conf = new Configuration();
        // 设置数据节点主机名属性
        conf.set("dfs.client.use.datanode.hostname", "true");
        // 定义uri字符串
        String uri = "hdfs://master:9000";
        // 创建文件系统对象
        FileSystem fs = FileSystem.get(new URI(uri), conf, "root");
        // 创建路径对象（指向文件）
        Path path = new Path(uri + "/lzy01/hi.txt");
        // 删除路径对象指向的文件（第二个参数表明是否递归，删除文件，不用递归）
        boolean result = fs.delete(path, false);
        // 根据返回结果提示用户
        if (result) {
            System.out.println("文件[" + path + "]删除成功！");
        } else {
            System.out.println("文件[" + path + "]删除失败！");
        }
    }
}

在这里插入图片描述

  • 再运行deleteFile()测试方法，查看结果
    在这里插入图片描述
  • 可以在删除文件之前，判断文件是否存在，需要修改代码
    在这里插入图片描述
    （2）删除目录
  • 任务：删除/lzy01目录
  • 编写deleteDir()方法
@Test                                                             
public void deleteDir() throws Exception {                        
    // 创建配置对象                                                     
    Configuration conf = new Configuration();                     
    // 设置数据节点主机名属性                                                
    conf.set("dfs.client.use.datanode.hostname", "true");         
    // 定义uri字符串                                                   
    String uri = "hdfs://master:9000";                            
    // 创建文件系统对象                                                   
    FileSystem fs = FileSystem.get(new URI(uri), conf, "root");   
    // 创建路径对象（指向目录）                                               
    Path path = new Path(uri + "/lzy01");                         
    // 判断路径对象指向的目录否存在                                             
    if (fs.exists(path)) {                                        
        // 删除路径对象指向的目录（第二个参数表明是否递归，删除文件，要递归）                      
        boolean result = fs.delete(path, true);                   
        // 根据返回结果提示用户                                             
        if (result) {                                             
            System.out.println("目录[" + path + "]删除成功！");          
        } else {                                                  
            System.out.println("目录[" + path + "]删除失败！");          
        }                                                         
    } else {                                                      
        System.out.println("目录[" + path + "]不存在！");               
    }                                                             
}

在这里插入图片描述
在这里插入图片描述
（3）删除目录或文件

  • 进行三个层面的判断：判断是否存在、判断类型（目录或文件）、判断删除是否成功
  • 任务：删除/ied02/exam.txt文件和/lzy01目录
    在这里插入图片描述
  • 编写delete()方法
@Test                                                                                                             
public void delete() throws Exception {                                                                           
    // 创建配置对象                                                                                                     
    Configuration conf = new Configuration();                                                                     
    // 设置数据节点主机名属性                                                                                                
    conf.set("dfs.client.use.datanode.hostname", "true");                                                         
    // 定义uri字符串                                                                                                   
    String uri = "hdfs://master:9000";                                                                            
    // 创建文件系统对象                                                                                                   
    FileSystem fs = FileSystem.get(new URI(uri), conf, "root");                                                   
    // 定义随机对象                                                                                                     
    Random random = new Random();                                                                                 
    // 产生随机整数 - [0, 1]                                                                                            
    int choice = random.nextInt(100) % 2;                                                                         
    // 定义路径字符串                                                                                                    
    String[] strPath = {"/ied02/exam.txt", "/lzy01"};                                                             
    // 创建路径对象（指向目录或文件）                                                                                            
    Path path = new Path(uri + strPath[choice]);                                                                  
    // 判断存在性                                                                                                      
    if (fs.exists(path)) {                                                                                        
        // 判断类型：目录或文件                                                                                             
        String type = "";                                                                                         
        if (fs.isDirectory(path)) {                                                                               
            type = "目录";                                                                                          
        } else {                                                                                                  
            type = "文件";                                                                                          
        }                                                                                                         
        // 删除路径对象指向的目录或文件                                                                                         
        boolean result = fs.delete(path, true);                                                                   
        // 判断删除是否成功                                                                                               
        if (result) {                                                                                             
            System.out.println(type + "[" + path + "]删除成功！");                                                     
        } else {                                                                                                  
            System.out.println(type + "[" + path + "]删除失败！");                                                     
        }                                                                                                         
    } else {                                                                                                      
        System.out.println("路径[" + path + "]不存在！");                                                               
    }                                                                                                             
}

在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/88454.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

Nacos 配置中心之长轮询--服务端

Nacos 配置中心之长轮询--服务端

先回顾一下客户端和服务端交互的过程 服务端 入口 直接看长轮询的接口 ConfigController.listener PostMapping("/listener")Secured(action ActionTypes.READ, parser ConfigResourceParser.class)public void listener(HttpServletRequest request, HttpServ…
阅读更多...
抓住三个关键因素，提高你的ASA广告效果！

抓住三个关键因素，提高你的ASA广告效果！

​ 众所周知&#xff0c;App Store 作为 iOS 端的流量收口&#xff0c;旗下的 ASA 广告更是广告主在 iOS 生态投放广告的唯一渠道&#xff0c;所提供的四大广告位&#xff08;Today 标签、搜索标签、搜索结果和产品页面&#xff09;覆盖了用户访问的全路径&#xff0c;为广告主…
阅读更多...
12月14日：跟着猫叔写代码api中的增删改查

12月14日：跟着猫叔写代码api中的增删改查

首先在数据库中建立一个学生成绩信息表 DROP TABLE IF EXISTS bro_ceshiapi; CREATE TABLE bro_ceshiapi (id int(11) unsigned NOT NULL AUTO_INCREMENT COMMENT id,name varchar(100) DEFAULT NULL COMMENT 姓名,class varchar(100) DEFAULT NULL COMMENT 班级,score decima…
阅读更多...
[附源码]Python计算机毕业设计Django基于vuejs的文创产品销售平台app

[附源码]Python计算机毕业设计Django基于vuejs的文创产品销售平台app

项目运行 环境配置&#xff1a; Pychram社区版 python3.7.7 Mysql5.7 HBuilderXlist pipNavicat11Djangonodejs。 项目技术&#xff1a; django python Vue 等等组成&#xff0c;B/S模式 pychram管理等等。 环境需要 1.运行环境&#xff1a;最好是python3.7.7&#xff0c;…
阅读更多...
学习Vue3 - 认识 Reactive 全家桶

学习Vue3 - 认识 Reactive 全家桶

reactive 用来绑定复杂的数据类型&#xff0c;例如&#xff1a;对象、数组 reactive 源码约束了我们的类型 他是不可以绑定普通的数据类型的&#xff0c;这样是不允许的&#xff0c;会报错 因此&#xff0c;如果绑定普通的数据类型&#xff0c;可以使用ref ref绑定对象或者…
阅读更多...
计算机SCI论文，如何写吸引人的摘要？ - 易智编译EaseEditing

计算机SCI论文，如何写吸引人的摘要？ - 易智编译EaseEditing

摘要简明扼要的概括全文的主要内容&#xff0c;是整篇文章的精华&#xff0c;是编辑、审稿专家以及读者阅读文章的最先关注的部分。 一个好的摘要可以正确反映文章内容&#xff0c;引起编辑、审稿专家以及读者的关注。那如何写出一个好的论文摘要呢&#xff0c;今天小易为大家…
阅读更多...
一种基于摩斯密码的页面加密方法（web和小程序）

一种基于摩斯密码的页面加密方法（web和小程序）

1. 开始 web开发中&#xff0c;常有一些功能仅希望对开发、测试人员等一小部分人展示&#xff0c;比如测试一个小程序项目中&#xff0c;想让测试人员快速复制当前对应的h5页面&#xff0c;这时候如果页面是必须登录的&#xff0c;我们可以借助vconsole&#xff0c;然后维护一…
阅读更多...
redis之主从切换可能有哪些问题

redis之主从切换可能有哪些问题

写在前面 本文一起看下Redis cluster 集群模式下&#xff0c;发生了主从切换时可能存在的问题以及应对方案。 1&#xff1a;主从数据不一致 主从数据不一致&#xff0c;是由于主从同步延迟造成的&#xff0c;可能的解决方案如下&#xff1a; 1&#xff1a;尽量将主从同机房…
阅读更多...
React面试：谈谈虚拟DOM，Diff算法与Key机制

React面试：谈谈虚拟DOM，Diff算法与Key机制

1.虚拟dom 原生的JS DOM操作非常消耗性能&#xff0c;而React把真实原生JS DOM转换成了JavaScript对象。这就是虚拟Dom&#xff08;Virtual Dom&#xff09; 每次数据更新后&#xff0c;重新计算虚拟Dom&#xff0c;并和上一次生成的虚拟dom进行对比&#xff0c;对发生变化的…
阅读更多...
Ansys Zemax | 用于数字投影光学中均匀照明的蝇眼阵列

Ansys Zemax | 用于数字投影光学中均匀照明的蝇眼阵列

简介 在数字投影仪设计中&#xff0c;我们希望确保数字光源与投影图像在辐照度分布相匹配。因此&#xff0c;这一约束要求投影仪设计包含均匀照明的空间光调制器——通常以LCD面板的形式呈现。理论上听起来很容易&#xff0c;但实际上&#xff0c;此面板上的光源光束通常是高斯…
阅读更多...
语音输入转文字怎么操作？分享几种语音转文字技巧

语音输入转文字怎么操作？分享几种语音转文字技巧

相信有不少小伙伴在整理语音文件的时候&#xff0c;都会有过怎样把这些语音直接转换成文字的想法吧。每次在我开完会之后&#xff0c;需要对会议语音进行整理时&#xff0c;都会产生这种想法。因为我们需要不断的去听这个会议的语音内容&#xff0c;这样做既费时又费力。但其实…
阅读更多...
MATLAB生成2D和3D格网（GUI程序）

MATLAB生成2D和3D格网（GUI程序）

目录 一、写函数DataStructure_Fnc 二、控件属性 三、生成2D格网代码 三、生成3D格网代码 一、写函数DataStructure_Fnc 函数代码&#xff0c;生成三角网需要调用此函数 function DataStructureDataStructure_Fnc(Table) [row col]size(Table); Table(1:end,5:7)-1; for j1…
阅读更多...
【配置指导】如何配置dataFEED edgeConnector Siemens以实现西门子PLC与阿里云之间的双向通信

【配置指导】如何配置dataFEED edgeConnector Siemens以实现西门子PLC与阿里云之间的双向通信

本配置指导手册介绍了如何配置dataFEED edgeConnector Siemens&#xff0c;以通过MQTT来将西门子S7-1200 PLC数据上传到阿里云&#xff1b;以及从阿里云发布数据&#xff0c;并传输到PLC中&#xff0c;从而实现西门子S7-1200 PLC与阿里云之间的双向通信。 主要内容包括&#xf…
阅读更多...
30-Vue之ECharts-直角坐标系的常用配置

30-Vue之ECharts-直角坐标系的常用配置

直角坐标系的常用配置前言直角坐标系常用配置网格坐标轴区域缩放前言 本篇来学习下直角坐标系的常用配置 直角坐标系 直角坐标系的图表指的是带有x轴和y轴的图表, 常见的直角坐标系的图表有: 柱状图 折线图 散点图 常用配置 网格 grid&#xff1a;是用来控制直角坐标系的…
阅读更多...
可落地的、不基于框架的分布式事务解决方案

可落地的、不基于框架的分布式事务解决方案

两阶段提交 2PC 在MySQL InnoDB中&#xff0c;为了保证Bin Log和Redo Log的一致性&#xff0c;便采用了两阶段提交&#xff1b;ZooKeeper、ETCD集群为了保证数据一致性&#xff0c;也采用了两阶段提交&#xff0c;RocketMQ的事务消息也采用了两阶段提交&#xff0c;可见两阶段…
阅读更多...
从VirtualBox换成KVM虚拟机管理程序？

从VirtualBox换成KVM虚拟机管理程序？

好消息是&#xff0c;您可以轻松地将VDI格式的VirtualBox VM迁移到qcow2(即KVM的磁盘映像格式)&#xff0c;不用创建新的KVM来宾计算机。 我们在本文中将概述如何将VirtualBox VM迁移到Linux中KVM VM的逐步过程。 第一步&#xff1a;列出现有的VirtualBox映像 首先&#xff0c…
阅读更多...
泰斯公式Thiem’s equation地下水

泰斯公式Thiem’s equation地下水

基本形式 泰斯公式1描述了在含水层抽水时的地下水流动。 多井作业时非承压含水层的方程形式如下 H(s)和H0(s)分别表示s点的估计地下水位和初始地下水位&#xff0c;K表示水力导率&#xff0c;ri表示预测位置与贡献井i之间的距离&#xff0c;n是贡献井的集合&#xff0c;Q表…
阅读更多...
Win11 21H2 12月最新更新了哪些内容？

Win11 21H2 12月最新更新了哪些内容？

微软今天发布了12月最新的累积更新补丁&#xff0c;用户可以升级KB5021234将版本号提升至 build 22000.1335&#xff0c;并解决了远程网络问题以及可能影响数据保护应用程序编程接口 &#xff08;DPAPI&#xff09; 解密的问题。此外&#xff0c;该更新还包括之前在 11 月 15 日…
阅读更多...
11-FreeRTOS配置函数 FreeRTOSConfig.h

11-FreeRTOS配置函数 FreeRTOSConfig.h

1-FreeRTOSConfig.h介绍 FreeRTOS中的相关定义多数都在FreeRTOSConfig.h中&#xff0c;整个FreeRTOS的定义调用都可以在这里定义&#xff0c;当然你也可以自己命名一个文件实现自定义。 下面是这个文件的内容&#xff0c;如下&#xff1a; #ifndef FREERTOS_CONFIG_H #define…
阅读更多...
Graph Neural Networks for Social Recommendation学习笔记

Graph Neural Networks for Social Recommendation学习笔记

1 目标 学习user embedding和item embedding。 2 框架 3 用户建模 3.1 利用历史记录对用户建模 3.2 利用社交关系对用户建模
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023