Java API操作HDFS

news2024/9/23 7:27:21

文章目录

    • 1. 创建Maven项目
    • 2. 添加相关依赖
    • 3. 创建日志属性文件
    • 4. 启动集群HDFS服务
    • 5. 在HDFS上创建文件
    • 6. 写入HDFS文件
      • 6.1 将数据直接写入HDFS文件
      • 6.2 将本地文件写入HDFS文件
    • 7. 读取HDFS文件
      • 7.1 读取HDFS文件直接在控制台显示
      • 7.2 读取HDFS文件，保存为本地文件
    • 8. 重命名目录或文件
      • 8.1 重命名目录
      • 8.2 重命名文件
    • 9. 显示文件列表
      • 9.1 显示指定目录下文件全部信息
      • 9.2 显示指定目录下文件路径和长度信息
    • 10. 获取文件块信息
    • 11. 创建目录
    • 12. 判断目录或文件是否存在
    • 13. 判断Path指向目录还是文件
    • 14. 删除目录或文件
      • 14.1 删除文件
      • 14.2 删除目录
      • 14.3 删除目录或文件

1. 创建Maven项目

  • 创建Maven项目 - HDFSDemo
    在这里插入图片描述

2. 添加相关依赖

  • 在pom.xml文件里添加hadoop和junit依赖
<dependencies>             
    <!--hadoop客户端-->                       
    <dependency>                                  
        <groupId>org.apache.hadoop</groupId>      
        <artifactId>hadoop-client</artifactId>    
        <version>3.3.4</version>                  
    </dependency>     
    <!--单元测试框架-->                            
    <dependency>                                  
        <groupId>junit</groupId>                  
        <artifactId>junit</artifactId>            
        <version>4.13.2</version>                 
    </dependency>                                 
</dependencies>

在这里插入图片描述

3. 创建日志属性文件

  • 在resources目录里创建log4j.properties文件
log4j.rootLogger=stdout, logfile
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n
log4j.appender.logfile=org.apache.log4j.FileAppender
log4j.appender.logfile.File=target/hdfs.log
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n

在这里插入图片描述

4. 启动集群HDFS服务

  • 执行命令：start-dfs.sh
  • 在Hadoop WebUI界面查看：
    在这里插入图片描述

5. 在HDFS上创建文件

  • 创建net.kox.hdfs包，在包里创建CreateFileOnHDFS类
    在这里插入图片描述
  • 编写create1()方法：
package net.kox.hdfs;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.junit.Test;

import java.net.URI;

public class CreateFileOnHDFS {
    @Test
    public void create1() throws Exception {
        // 创建配置对象
        Configuration conf = new Configuration();
        // 定义统一资源标识符（uri：uniform resource identifier)
        String uri = "hdfs://192.168.218.141:9000";
        // 创建文件系统对象（基于HDFS的文件系统）
        FileSystem fs = FileSystem.get(new URI(uri), conf);
        // 创建路径对象（指向文件）
        Path path = new Path(uri + "/ied01/hadoop.txt");
        // 基于路径对象创建文件
        boolean result = fs.createNewFile(path);
        // 根据返回值判断文件是否创建成功
        if (result) {
            System.out.println("文件[" + path + "]创建成功！");
        } else {
            System.out.println("文件[" + path + "]创建失败！");
        }
    }
}
  • 运行程序，查看结果：
    在这里插入图片描述
  • 利用Hadoop WebUI查看：
    在这里插入图片描述
  • 再次运行程序，由于hadoop.txt已经存在，此时会提示用户创建失败
  • 由此编写create2()方法，事先判断文件是否存在
    @Test
    public void create2() throws Exception {
        // 创建配置对象
        Configuration conf = new Configuration();
        // 定义统一资源标识符（uri：uniform resource identifier)
        String uri = "hdfs://192.168.218.141:9000";
        // 创建文件系统对象（基于HDFS的文件系统）
        FileSystem fs = FileSystem.get(new URI(uri), conf);
        // 创建路径对象
        Path path = new Path(uri + "/ied01/hadoop.txt");
        // 判断路径对象指向的文件是否存在
        if (fs.exists(path)) {
            // 提示用户文件已存在
            System.out.println("文件[" + path + "]已经存在！");
        } else {
            // 基于路径对象创建文件
            boolean result = fs.createNewFile(path);
            // 根据返回值判断文件是否创建成功
            if (result) {
                System.out.println("文件[" + path + "]创建成功！");
            } else {
                System.out.println("文件[" + path + "]创建失败！");
            }
        }
    }
  • 运行程序，查看结果：
    在这里插入图片描述

6. 写入HDFS文件

  • 类似于HDFS Shell里的hdfs dfs -put命令
  • 在net.hw.hdfs包里创建WriteFileOnHDFS类

6.1 将数据直接写入HDFS文件

  • 任务：在/ied01目录里创建hello.txt文件
  • 创建write1()方法：
package net.kox.hdfs;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.junit.Test;

import java.net.URI;

public class WriteFileOnHDFS {
    @Test
    public void write1() throws Exception {
        // 创建配置对象
        Configuration conf = new Configuration();
        // 设置节点主机名属性
        conf.set("dfs.client.use.datanode.hostname", "true");
        // 定义统一资源标识符（uri: uniform resource identifier）
        String uri = "hdfs://master:9000";
        // 创建文件系统对象（基于HDFS的文件系统）
        FileSystem fs = FileSystem.get(new URI(uri), conf);
        // 创建路径对象（指向文件）
        Path path = new Path(uri + "/ied01/hello.txt");
        // 创建文件系统数据字节输出流（出水管：数据从程序到文件）
        FSDataOutputStream out = fs.create(path);
        // 通过字节输出流向文件写数据
        out.write("Hello Hadoop World".getBytes());
        // 关闭文件系统数据字节输出流
        out.close();
        // 关闭文件系统对象
        fs.close();
        // 提示用户写文件成功
        System.out.println("文件[" + path + "]写入成功！");
    }
}

  • 运行程序，查看结果：
    在这里插入图片描述

  • 利用Hadoop WebUI查看hello.txt文件
    在这里插入图片描述

6.2 将本地文件写入HDFS文件

  • 在项目根目录创建一个文本文件test.txt
    在这里插入图片描述
  • 创建write2()方法：
@Test
    public void write2() throws Exception {
        // 创建配置对象
        Configuration conf = new Configuration();
        // 设置数据节点主机名属性
        conf.set("dfs.client.use.datanode.hostname","true");
        // 定义统一资源标识符
        String uri = "hdfs://master:9000";
        // 创建文件系统对象(基于HDFS的文件系统）
        FileSystem fs = FileSystem.get(new URI(uri), conf, "root");
        // 创建路径对象（指向文件）
        Path path = new Path(uri + "/ied01/exam.txt");
        // 创建文件系统数据字节输出流（出水管：数据从程序到文件）
        FSDataOutputStream out = fs.create(path);
        // 创建文件字符输入流对象（出水管：数据从文件到程序）
        FileReader fr = new FileReader("test.txt");
        // 创建缓冲字符输入流对象
        BufferedReader br = new BufferedReader(fr);
        // 定义行字符串变量
        String nextLine = "";
        // 通过循环遍历缓冲字符输入流
        while ((nextLine = br.readLine()) != null) {
            // 在控制输出读取的行
            System.out.println(nextLine);
            // 通过文件系统数据字节输出流对象写入指定文件
            out.write(nextLine.getBytes());
        }
        // 关闭缓冲字符输入流
        br.close();
        // 关闭文件字符输入流
        fr.close();
        // 关闭文件习题数据字节输出流
        out.close();
        // 提示用户写入文件成功
        System.out.println("本地文件[test.txt]成功写入[" + path + "]!");
    }
  • 运行write2()测试方法，查看结果：
    在这里插入图片描述
  • 查看/ied01/exam.txt内容
    在这里插入图片描述

7. 读取HDFS文件

7.1 读取HDFS文件直接在控制台显示

  • 创建ReadFileOnHDFS类
    在这里插入图片描述
  • 编写read1()方法：
package net.kox.hdfs;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.junit.Test;

import java.io.BufferedReader;
import java.io.InputStreamReader;
import java.net.URI;


public class ReadFileOnHDFS {
    @Test
    public void read1() throws Exception {
        // 创建配置对象
        Configuration conf = new Configuration();
        // 设置数据节点主机名属性
        conf.set("dfs.client.use.datanode.hostname", "true");
        // 定义统一资源标识符（uri: uniform resource identifier）
        String uri = "hdfs://master:9000";
        // 创建文件系统对象（基于HDFS的文件系统）
        FileSystem fs = FileSystem.get(new URI(uri), conf, "root");
        // 创建路径对象（指向文件）
        Path path = new Path(uri + "/ied01/test.txt");
        // 创建文件系统数据字节输入流（进水管：数据从文件到程序）
        FSDataInputStream in = fs.open(path);
        // 创建缓冲字符输入流，提高读取效率（字节流-->字符流-->缓冲流）
        BufferedReader br = new BufferedReader(new InputStreamReader(in));
        // 定义行字符串变量
        String nextLine = "";
        // 通过循环遍历缓冲字符输入流
        while ((nextLine = br.readLine()) != null) {
            // 在控制台输出读取的行
            System.out.println(nextLine);
        }
        // 关闭缓冲字符输入流
        br.close();
        // 关闭文件系统数据字节输入流
        in.close();
        // 关闭文件系统
        fs.close();
    }
}
  • 运行read1()测试方法，查看结果：
    在这里插入图片描述

7.2 读取HDFS文件，保存为本地文件

  • 创建download目录:
    在这里插入图片描述
  • 创建 read2()方法：
@Test                                                                           
public void read2() throws Exception {                                          
    // 创建配置对象                                                                   
    Configuration conf = new Configuration();                                   
    // 设置数据节点主机名属性                                                              
    conf.set("dfs.client.use.datanode.hostname", "true");                       
    // 定义统一资源标识符（uri: uniform resource identifier）                              
    String uri = "hdfs://master:9000";                                          
    // 创建文件系统对象（基于HDFS的文件系统）                                                    
    FileSystem fs = FileSystem.get(new URI(uri), conf, "root");                 
    // 创建路径对象（指向文件）                                                             
    Path path = new Path(uri + "/ied01/test.txt");                              
    // 创建文件系统数据字节输入流（进水管：数据从文件到程序）                                              
    FSDataInputStream in = fs.open(path);                                       
    // 创建文件字节输出流（出水管：数据从程序到文件）                                                  
    FileOutputStream out = new FileOutputStream("download/exam.txt");           
    // 利用IOUtils工具类读取HDFS文件（靠输入流），写入本地文件（靠输出流）                                  
    IOUtils.copyBytes(in, out, conf);                                           
    // 关闭文件字节输出流                                                                
    out.close();                                                                
    // 关闭文件系统数据字节流输入流                                                           
    in.close();                                                                 
    // 关闭文件系统                                                                   
    fs.close();                                                                 
    // 提示用户文件下载成功                                                               
    System.out.println("文件[" + path + "]下载到本地文件[download/exam.txt]！");          
}
  • 运行read2()测试方法，查看结果：
    在这里插入图片描述

8. 重命名目录或文件

  • 创建RenameDirOrFile类
    在这里插入图片描述

8.1 重命名目录

  • 将/ied01目录更名为/lzy01
  • 编写renameDir()方法：
package net.kox.hdfs;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.junit.Test;

import java.net.URI;

public class RenameDirOrFile {
    @Test
    public void renameDir() throws Exception {
        // 创建配置对象
        Configuration conf = new Configuration();
        // 设置数据节点主机名属性
        conf.set("dfs.client.use.datanode.hostname", "true");
        // 定义统一资源标识符（uri: uniform resource identifier）
        String uri = "hdfs://master:9000";
        // 创建文件系统对象（基于HDFS的文件系统）
        FileSystem fs = FileSystem.get(new URI(uri), conf, "root");
        // 创建源路径对象（指向目录）
        Path sourcePath = new Path(uri + "/ied01");
        // 创建目标路径对象（指向目录）
        Path destinationPath = new Path(uri + "/lzy01");
        // 利用文件系统对象重命名目录
        fs.rename(sourcePath, destinationPath);
        // 关闭文件系统
        fs.close();
        // 提示用户目录更名成功
        System.out.println("目录[" + sourcePath.getName() + "]更名为目录[" + destinationPath.getName() + "]！");
    }
}
  • 运行程序，查看结果：
    在这里插入图片描述
  • 利用Hadoop WebUI界面查看：
    在这里插入图片描述

8.2 重命名文件

  • 将lzy01目录下的hello.txt重命名为hi.txt
  • 编写renameFile()方法：
@Test                                                                                                      
public void renameFile() throws Exception {                                                                
    // 创建配置对象                                                                                              
    Configuration conf = new Configuration();                                                              
    // 设置数据节点主机名属性                                                                                         
    conf.set("dfs.client.use.datanode.hostname", "true");                                                  
    // 定义统一资源标识符（uri: uniform resource identifier）                                                         
    String uri = "hdfs://master:9000";                                                                     
    // 创建文件系统对象（基于HDFS的文件系统）                                                                               
    FileSystem fs = FileSystem.get(new URI(uri), conf, "root");                                            
    // 创建源路径对象（指向文件）                                                                                       
    Path sourcePath = new Path(uri + "/lzy01/hello.txt");                                                  
    // 创建目标路径对象（指向文件）                                                                                      
    Path destinationPath = new Path(uri + "/lzy01/hi.txt");                                                
    // 利用文件系统对象重命名文件                                                                                       
    fs.rename(sourcePath, destinationPath);                                                                
    // 关闭文件系统                                                                                              
    fs.close();                                                                                            
    // 提示用户文件更名成功                                                                                          
    System.out.println("文件[" + sourcePath.getName() + "]更名为文件[" + destinationPath.getName() + "]！");       
}
  • 运行程序，查看结果：
    在这里插入图片描述
    在这里插入图片描述

9. 显示文件列表

  • 创建ListHDFSFiles类
    在这里插入图片描述

9.1 显示指定目录下文件全部信息

  • 显示/lzy01目录下的文件列表
  • 编写list1()方法：
package net.kox.hdfs;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.LocatedFileStatus;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.fs.RemoteIterator;
import org.junit.Test;

import java.net.URI;

public class ListHDFSFiles {
    @Test
    public void list1() throws Exception {
        // 创建配置对象
        Configuration conf = new Configuration();
        // 设置数据节点主机名属性
        conf.set("dfs.client.use.datanode.hostname", "true");
        // 定义uri字符串
        String uri = "hdfs://master:9000";
        // 创建文件系统对象
        FileSystem fs = FileSystem.get(new URI(uri), conf, "root");
        // 创建远程迭代器对象，泛型是位置文件状态类（相当于`hdfs dfs -ls -R /lzy01`）
        RemoteIterator<LocatedFileStatus> ri = fs.listFiles(new Path("/lzy01"), true);
        // 遍历远程迭代器
        while (ri.hasNext()) {
            System.out.println(ri.next());
        }
    }
}
  • 运行程序，查看结果：
    在这里插入图片描述

9.2 显示指定目录下文件路径和长度信息

  • 编写list2()方法：
    @Test
    public void list2() throws Exception {
        // 创建配置对象
        Configuration conf = new Configuration();
        // 设置数据节点主机名属性
        conf.set("dfs.client.use.datanode.hostname", "true");
        // 定义uri字符串
        String uri = "hdfs://master:9000";
        // 创建文件系统对象
        FileSystem fs = FileSystem.get(new URI(uri), conf, "root");
        // 创建远程迭代器对象，泛型式位置文件状态类（相当于‘hdfs dfs-ls-R /lzy01')
        RemoteIterator<LocatedFileStatus> ri = fs.listFiles(new Path("/lzy01"), true);
        // 遍历远程迭代器
        while (ri.hasNext()) {
            LocatedFileStatus lfs = ri.next();
            System.out.println(lfs.getPath() + " " + lfs.getLen() + "字节");
        }
    }
  • 运行list2()测试方法，查看结果：
    在这里插入图片描述
  • 对照Hadoop WebUI上给出的文件长度信息
    在这里插入图片描述

10. 获取文件块信息

  • 获取/lzy01/hadoop-3.3.4.tar.gz文件块信息
  • 创建GetBlockLocations类
    在这里插入图片描述
  • 编写代码，获取文件块信息：
package net.kox.hdfs;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.BlockLocation;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

import java.net.URI;
import java.util.Arrays;

/**
 * 功能：获取文件块信息
 * 作者：华卫
 * 日期：2022年11月26日
 */
public class GetBlockLocations {
    public static void main(String[] args) throws Exception {
        // 创建配置对象
        Configuration conf = new Configuration();
        // 设置数据节点主机名属性
        conf.set("dfs.client.use.datanode.hostname", "true");
        // 定义uri字符串
        String uri = "hdfs://master:9000";
        // 创建文件系统对象
        FileSystem fs = FileSystem.get(new URI(uri), conf, "root");
        // 创建路径对象，指向文件
        Path path = new Path("/lzy01/hadoop-3.3.4.tar.gz");
        // 获取文件块信息
        BlockLocation[] blks = fs.getFileBlockLocations(path, 0, Integer.MAX_VALUE);
        // 利用Lambda表达式遍历块信息
        Arrays.asList(blks).forEach(blk -> System.out.println(blk));
    }
}
  • 运行程序，查看结果（切点位置，块大小，块存在位置）
    在这里插入图片描述

11. 创建目录

  • 在HDFS上创建/ied01目录
  • 创建MakeDirOnHDFS类
    在这里插入图片描述
  • 编写程序:
package net.kox.hdfs;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

import java.net.URI;

public class MakeDirOnHDFS {
    public static void main(String[] args) throws Exception {
        // 创建配置对象
        Configuration conf = new Configuration();
        // 设置数据节点主机名属性
        conf.set("dfs.client.use.datanode.hostname", "true");
        // 定义uri字符串
        String uri = "hdfs://master:9000";
        // 创建文件系统对象
        FileSystem fs = FileSystem.get(new URI(uri), conf, "root");
        // 创建路径对象，指向目录
        Path path = new Path("/ied01");
        // 利用文件系统创建指定目录
        boolean result = fs.mkdirs(path);
        // 判断目录是否创建成功
        if (result) {
            System.out.println("目录[" + path + "]创建成功！");
        } else {
            System.out.println("目录[" + path + "]创建失败！");
        }
    }
}
  • 运行程序，查看结果:
    在这里插入图片描述
  • 利用Hadoop WebUI界面查看:
    在这里插入图片描述

12. 判断目录或文件是否存在

  • 判断HDFS上/ied01目录是否存在，判断/ied01/hadoop.txt文件是否存在
  • 创建DirFileExistsOrNot类
    在这里插入图片描述
  • 编写dirExists()方法:
package net.kox.hdfs;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.junit.Test;

import java.net.URI;

public class DirFileExistsOrNot {
    @Test
    public void dirExists() throws Exception {
        // 创建配置对象
        Configuration conf = new Configuration();
        // 设置数据节点主机名属性
        conf.set("dfs.client.use.datanode.hostname", "true");
        // 定义uri字符串
        String uri = "hdfs://master:9000";
        // 创建文件系统对象
        FileSystem fs = FileSystem.get(new URI(uri), conf, "root");
        // 创建路径对象，指向目录
        Path path = new Path("/ied01");
        // 判断目录是否存在
        if (fs.exists(path)) {
            System.out.println("目录[" + path + "]存在！");
        } else {
            System.out.println("目录[" + path + "]不存在！");
        }
    }
}
  • 运行程序，查看结果：
    在这里插入图片描述
  • 修改代码，在进行测试：
    在这里插入图片描述
  • 运行程序，查看结果：
    在这里插入图片描述

13. 判断Path指向目录还是文件

  • 创建PathToFileOrDir类
    在这里插入图片描述
  • 编写代码:
package net.kox.hdfs;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

import java.net.URI;

public class PathToFileOrDir {
    public static void main(String[] args) throws Exception{
        // 创建配置对象
        Configuration conf = new Configuration();
        // 设置数据节点主机名属性
        conf.set("dfs.client.use.datanode.hostname", "true");
        // 定义uri字符串
        String uri = "hdfs://master:9000";
        // 创建文件系统对象
        FileSystem fs = FileSystem.get(new URI(uri), conf, "root");

        // 创建路径对象，指向目录
        Path path1 = new Path("/ied01");
        if (fs.isDirectory(path1)) {
            System.out.println("[" + path1 + "]指向的式目录!");
        } else {
            System.out.println("[" + path1 + "]指向的是文件！");
        }

        // 创建路径对象，指向文件
        Path path2 = new Path("/lzy01/test.txt");
        if (fs.isFile(path2)) {
            System.out.println("[" + path2 + "]指向的是文件！");
        } else {
            System.out.println("[" + path2 + "]指向的是目录！");
        }

    }
}
  • 运行程序，查看结果：
    在这里插入图片描述

14. 删除目录或文件

  • 类似于HDFS Shell里的hdfs dfs -rmdir和hdfs dfs -rm -r命令
  • 创建DeleteFileOrDir类
    在这里插入图片描述

14.1 删除文件

  • 删除/lzy01/hi.txt文件
    在这里插入图片描述
  • 编写deleteFile()方法
package net.kox.hdfs;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.junit.Test;

import java.net.URI;


public class DeleteFileOrDir {
    @Test
    public void deleteFile() throws Exception {
        // 创建配置对象
        Configuration conf = new Configuration();
        // 设置数据节点主机名属性
        conf.set("dfs.client.use.datanode.hostname", "true");
        // 定义uri字符串
        String uri = "hdfs://master:9000";
        // 创建文件系统对象
        FileSystem fs = FileSystem.get(new URI(uri), conf, "root");
        // 创建路径对象（指向文件）
        Path path = new Path(uri + "/lzy01/hi.txt");
        // 删除路径对象指向的文件（第二个参数表明是否递归，删除文件，不用递归）
        boolean result = fs.delete(path, false);
        // 根据返回结果提示用户
        if (result) {
            System.out.println("文件[" + path + "]删除成功！");
        } else {
            System.out.println("文件[" + path + "]删除失败！");
        }
    }
}
  • 运行程序，查看结果：
    在这里插入图片描述
  • 利用Hadoop WebUI界面查看：
    在这里插入图片描述
  • 再运行deleteFile()测试方法，查看结果：
    在这里插入图片描述
  • 改进代码：
    在这里插入图片描述
package net.kox.hdfs;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.junit.Test;

import java.net.URI;


public class DeleteFileOrDir {
    @Test
    public void deleteFile() throws Exception {
        // 创建配置对象
        Configuration conf = new Configuration();
        // 设置数据节点主机名属性
        conf.set("dfs.client.use.datanode.hostname", "true");
        // 定义uri字符串
        String uri = "hdfs://master:9000";
        // 创建文件系统对象
        FileSystem fs = FileSystem.get(new URI(uri), conf, "root");
        // 创建路径对象（指向文件）
        Path path = new Path(uri + "/lzy01/hi.txt");
        // 判断路径对象指向的文件是否存在
        if (fs.exists(path)) {
            // 删除路径对象指向的文件（第二个参数表明是否递归，删除文件，不用递归）
            boolean result = fs.delete(path, false);
            // 根据返回结果提示用户
            if (result) {
                System.out.println("文件[" + path + "]删除成功！");
            } else {
                System.out.println("文件[" + path + "]删除失败！");
            }
        } else {
            System.out.println("文件[" + path + "]不存在！");
        }

    }
}
  • 运行程序，查看结果：
    在这里插入图片描述

14.2 删除目录

  • 删除/lzy01目录
  • 编写deleteDir()方法：
@Test
    public void deleteDir() throws Exception {
        // 创建配置对象
        Configuration conf = new Configuration();
        // 设置数据节点主机名属性
        conf.set("dfs.client.use.datanode.hostname", "true");
        // 定义uri字符串
        String uri = "hdfs://master:9000";
        // 创建文件系统对象
        FileSystem fs = FileSystem.get(new URI(uri), conf, "root");
        // 创建路径对象（指向目录)
        Path path = new Path(uri + "/lzy01");
        // 判断路径对象指向的目录是否存在
        if (fs.exists(path)) {
            boolean result = fs.delete(path, true);
            // 根据返回结果提示用户
            if (result) {
                System.out.println("目录[" + path + "]删除成功！");
            } else {
                System.out.println("目录[" + path + "]删除失败！");
            }
        } else {
            System.out.println("目录[" + path + "]不存在！");
        }
    }
  • 运行程序，查看结果：
    在这里插入图片描述
  • 再次运行：
    在这里插入图片描述

14.3 删除目录或文件

  • 进行三个层面的判断：判断类型（目录或文件）、判断是否存在、判断删除是否成功
  • 删除/ied02/exam.txt文件和/lzy01目录
  • 编写delete()方法:
@Test
    public void delete() throws Exception {
        // 创建配置对象                                                         
        Configuration conf = new Configuration();
        // 设置数据节点主机名属性                                                    
        conf.set("dfs.client.use.datanode.hostname", "true");
        // 定义uri字符串                                                       
        String uri = "hdfs://master:9000";
        // 创建文件系统对象                                                       
        FileSystem fs = FileSystem.get(new URI(uri), conf, "root");
        // 定义随机对象                                                         
        Random random = new Random();
        // 产生随机整数 - [0, 1]                                                
        int choice = random.nextInt(100) % 2;
        // 定义路径字符串                                                        
        String[] strPath = {"/ied02/exam.txt", "/lzy01"};
        // 创建路径对象（指向目录或文件）                                                
        Path path = new Path(uri + strPath[choice]);
        // 判断类型：目录或文件                                                     
        String type = "";
        if (fs.isDirectory(path)) {
            type = "目录";
        } else {
            type = "文件";
        }
        // 判断存在性                                                          
        if (fs.exists(path)) {
            // 删除路径对象指向的目录或文件                                             
            boolean result = fs.delete(path, true);
            // 判断删除是否成功                                                   
            if (result) {
                System.out.println(type + "[" + path + "]删除成功！");
            } else {
                System.out.println(type + "[" + path + "]删除失败！");
            }
        } else {
            System.out.println(type + "[" + path + "]不存在！");
        }
    }

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/67540.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

[附源码]计算机毕业设计青栞系统Springboot程序

[附源码]计算机毕业设计青栞系统Springboot程序

项目运行 环境配置&#xff1a; Jdk1.8 Tomcat7.0 Mysql HBuilderX&#xff08;Webstorm也行&#xff09; Eclispe&#xff08;IntelliJ IDEA,Eclispe,MyEclispe,Sts都支持&#xff09;。 项目技术&#xff1a; SSM mybatis Maven Vue 等等组成&#xff0c;B/S模式 M…
阅读更多...
[附源码]JAVA毕业设计沙县小吃点餐系统（系统+LW）

[附源码]JAVA毕业设计沙县小吃点餐系统（系统+LW）

[附源码]JAVA毕业设计沙县小吃点餐系统&#xff08;系统LW&#xff09; 项目运行 环境项配置&#xff1a; Jdk1.8 Tomcat8.5 Mysql HBuilderX&#xff08;Webstorm也行&#xff09; Eclispe&#xff08;IntelliJ IDEA,Eclispe,MyEclispe,Sts都支持&#xff09;。 项目技术…
阅读更多...
硬核性感！沉浸式体验 ZStack Cube 超融合的7大亮点功能

硬核性感！沉浸式体验 ZStack Cube 超融合的7大亮点功能

什么是硬核性感&#xff1f;技术够硬核&#xff0c;体验够性感&#xff01;&#xff01; ———by 东川路最靓的仔 传统数据中心承载核心业务&#xff0c;需要采购大量硬件设备堆叠实现整体冗余架构&#xff0c;同时还需消耗大量人力成本分散运维管理。ZStack Cube 超融合一体…
阅读更多...
为什么这几年钱越来越难赚了？而有的人完全不受影响？

为什么这几年钱越来越难赚了？而有的人完全不受影响？

为什么这几年钱越来越难赚了&#xff1f;而有的人完全不受影响&#xff1f; 很多人都在说这几年赚钱越来越难了&#xff0c;尤其疫情这几年。放眼望去&#xff0c;无论是线下还是线上&#xff0c;哀鸿遍野。 大家也习惯性的将自己生意垮掉和项目垮掉的原因归结于疫情。那疫情大…
阅读更多...
Spring学习 | Spring简介IOC简介

Spring学习 | Spring简介IOC简介

文章目录一、Spring简介二、IOC2.1 简介2.2 底层原理2.3 获取对象的API学习视频&#x1f3a5;&#xff1a;https://www.bilibili.com/video/BV1Vf4y127N5 一、Spring简介 &#x1f4ac;概述&#xff1a;Spring 是轻量级的开源的JavaEE框架&#xff0c;IOC和AOP是Spring 的两个…
阅读更多...
表单和servlet在idea中实现文件的上传

表单和servlet在idea中实现文件的上传

1.前端jsp的搭建。 通过typefile的input标签就可以选择要上传的文件&#xff0c;当submit提交表单的时候就可以将选定的文件以流的形式提交。要注意的技术细节就是表单中有上传文件功能时&#xff0c;必须显式的将表单enctype设置为multipart/form-data&#xff0c;不带文件上…
阅读更多...
解决gif导出后显示异常的现象

解决gif导出后显示异常的现象

解决gif导出后显示异常的现象 背景&#xff1a; 上次gif支持透明度后&#xff0c;https://blog.csdn.net/c553110519/article/details/127757148?spm1001.2014.3001.5501&#xff0c; 发现当输入是动态的时候&#xff0c;会出现异常现象 如下所示&#xff1a; 现象原因分析…
阅读更多...
[附源码]Python计算机毕业设计Django校园招聘微信小程序

[附源码]Python计算机毕业设计Django校园招聘微信小程序

项目运行 环境配置&#xff1a; Pychram社区版 python3.7.7 Mysql5.7 HBuilderXlist pipNavicat11Djangonodejs。 项目技术&#xff1a; django python Vue 等等组成&#xff0c;B/S模式 pychram管理等等。 环境需要 1.运行环境&#xff1a;最好是python3.7.7&#xff0c;…
阅读更多...
原理说明书艾美捷魔力红组织蛋白酶B活性分析试剂盒

原理说明书艾美捷魔力红组织蛋白酶B活性分析试剂盒

艾美捷ICT魔力红组织蛋白酶B活性分析试剂盒被研究人员用来定量和监测培养细胞和组织中的组织蛋白酶活性。 Quantitate and monitor intracellular cathepsin-B activity over time in vitro. The Magic Red substrate in this assay fluoresces red upon cleavage by active ca…
阅读更多...
torch.nn.functional

torch.nn.functional

非线性激活函数 torch.nn.functional.threshold(input, threshold, value, inplaceFalse)torch.nn.functional.relu(input, inplaceFalse)torch.nn.functional.relu6(input, inplaceFalse)torch.nn.functional.elu(input, alpha1.0, inplaceFalse) torch.nn.functional.leaky_…
阅读更多...
智云通CRM：如何使用万能的“三问”，提升业绩？

智云通CRM：如何使用万能的“三问”，提升业绩？

我们在销售产品时&#xff0c;客户往往不知道自己需要什么。如果在这样的情况下贸然推销产品&#xff0c;很容易遭到客户的厌烦。 因此&#xff0c;销售要做的就是尽可能地帮助客户整理头绪&#xff0c;激发他们的购买欲。要做到这一点&#xff0c;只需要三句话&#xff1a; …
阅读更多...
led护眼灯有蓝光吗？双十二选led护眼灯的好处有哪些

led护眼灯有蓝光吗？双十二选led护眼灯的好处有哪些

现在的人造灯光&#xff0c;任何产品都不可能完全避免蓝光&#xff0c;市面上宣传的所谓完全无蓝光其实就是虚假宣传&#xff0c;一个是技术上几乎做不到完全无蓝光&#xff0c;另一个就是这也完全没必要&#xff0c;因为要达到比较好的光线显色效果&#xff0c;就必须要保证全…
阅读更多...
Elasticsearch的高级查询

Elasticsearch的高级查询

目录 一、条件查询 1、单条件 1&#xff09;路由查询 2&#xff09;body体查询 2、多条件查询 1&#xff09;and---must 2&#xff09;or---should 3&#xff09;范围---filter 3、全文检索、完全匹配、高亮显示 二、聚合查询 1、分组 2、求平均值 一、条件查询 1、单…
阅读更多...
通过虚拟机搭建个人NAS

通过虚拟机搭建个人NAS

通过虚拟机搭建个人NAS 1 搭建黑群辉NAS 前期资料&#xff1a; 黑群晖系统 天翼云&#xff1a;https://cloud.189.cn/t/Vj2QRbFzq6Nn&#xff08;访问码&#xff1a;i94s&#xff09; 百度网盘&#xff1a;链接:https://pan.baidu.com/s/1MqimGhZnOTIcYfZhY5Z4lw 提取码:75n…
阅读更多...
JSP 视频点播系统Myeclipse开发mysql数据库web结构java编程计算机网页项目

JSP 视频点播系统Myeclipse开发mysql数据库web结构java编程计算机网页项目

一、源码特点 JSP 视频点播系统 是一套完善的web设计系统&#xff0c;对理解JSP java编程开发语言有帮助&#xff0c;系统具有完整的源代码和数据库&#xff0c;系统主要采用B/S模式开发。开发环境为TOMCAT7.0,Myeclipse8.5开 发&#xff0c;数据库为Mysql&#xff0c;使用ja…
阅读更多...
【数据集NO.5】小目标检测数据集汇总

【数据集NO.5】小目标检测数据集汇总

文章目录前言一、TinyPerson数据集二、密集行人检测数据集三、加州理工学院行人检测数据集前言 数据集对应应用场景&#xff0c;不同的应用场景有不同的检测难点以及对应改进方法&#xff0c;本系列整理汇总领域内的数据集&#xff0c;方便大家下载数据集&#xff0c;若无法下…
阅读更多...
大数据-Hadoop部署模式

大数据-Hadoop部署模式

一、JDK安装与配置 1、下载JDK压缩包 2、上传到master虚拟机 将JDK压缩包上传到master虚拟机/opt目录 查看上传的JDK压缩包 3、在master虚拟机上安装配置JDK 执行命令&#xff1a;tar -zxvf jdk-8u231-linux-x64.tar.gz -C /usr/local&#xff0c;将JDK压缩包解压到指定目…
阅读更多...
【VUE3】保姆级基础讲解（一）：初体验与指令

【VUE3】保姆级基础讲解（一）：初体验与指令

目录 安装和引入 CDN 本地引入 VUE初体验 MVVM模型 data属性 与 methods属性 VUE基础-模板语法 Mustache双大括号语法 v-once指令 v-html v-pre v-cloak v-memo v-bind&#xff08;重要&#xff09; 对象语法 v-bind直接绑定对象 v-on 条件渲染 v-for 基础使…
阅读更多...
antd级联选择器（a-cascader）动态加载和动态回显效果实现

antd级联选择器（a-cascader）动态加载和动态回显效果实现

文章目录1、介绍2、效果图如下图所示&#xff1a;&#xff08;只实现3层的&#xff09;3、实现方法&#xff08;1&#xff09;层级可单独选择&#xff08;2&#xff09;组件使用&#xff08;3&#xff09;data数据&#xff08;4&#xff09;实现动态加载数据1、 提示&#xff1…
阅读更多...
模糊预测|RFIS与ANFIS模糊模型预测的比较（Matlab代码实现）

模糊预测|RFIS与ANFIS模糊模型预测的比较（Matlab代码实现）

&#x1f4a5;&#x1f4a5;&#x1f4a5;&#x1f49e;&#x1f49e;&#x1f49e;欢迎来到本博客❤️❤️❤️&#x1f4a5;&#x1f4a5;&#x1f4a5;&#x1f3c6;博主优势&#xff1a;&#x1f31e;&#x1f31e;&#x1f31e;博客内容尽量做到思维缜密&#xff0c;逻辑清…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023