Java API连接(操作)HDFS
- 直接连接遇到的问题
- 设置执行的用户为root用户
- 使用Java的-D参数来设置环境变量
- 使用chmod的命令赋予权限
- 修改参数配置
直接连接遇到的问题
直接运行下面的代码,会出现权限不够的问题
@Test
public void test1() throws Exception{
//指定NameNode地址
Configuration conf = new Configuration();
conf.set("fs.defaultFS", "hdfs://192.168.157.111:9000");
//创建一个HDFS的客户端 DistributedFileSystem
FileSystem client = FileSystem.get(conf);
//创建目录
client.mkdirs(new Path("/folder1"));
//关闭客户端
client.close();
}
错误:
org.apache.hadoop.security.AccessControlException: Permission denied: user=lenovo, access=WRITE, inode=“/folder1”:root:supergroup:drwxr-xr-x
下面使用四种方式来解决权限不够的问题。
设置执行的用户为root用户
环境变量 :HADOOP_USER_NAME
@Test
public void test3() throws Exception{
System.setProperty("HADOOP_USER_NAME", "root");
//指定NameNode地址
Configuration conf = new Configuration();
conf.set("fs.defaultFS", "hdfs://192.168.157.111:9000");
//创建一个HDFS的客户端 DistributedFileSystem
FileSystem client = FileSystem.get(conf);
//创建目录
client.mkdirs(new Path("/folder1"));
//关闭客户端
client.close();
}
使用Java的-D参数来设置环境变量
@Test
public void test2() throws Exception{
//指定NameNode地址
Configuration conf = new Configuration();
conf.set("fs.defaultFS", "hdfs://192.168.157.111:9000");
//创建一个HDFS的客户端 DistributedFileSystem
FileSystem client = FileSystem.get(conf);
//创建目录
client.mkdirs(new Path("/folder1"));
//关闭客户端
client.close();
}
根据下面的步骤使用Java的-D参数
使用chmod的命令赋予权限
在linux上, 执行 hdfs dfs -chmod 777 /folder2
将读写执行的权限都给到/folder2
@Test
public void test4() throws Exception{
//指定NameNode地址
Configuration conf = new Configuration();
conf.set("fs.defaultFS", "hdfs://192.168.157.111:9000");
//创建一个HDFS的客户端 DistributedFileSystem
FileSystem client = FileSystem.get(conf);
//创建目录
client.mkdirs(new Path("/folder2/folder3"));
//关闭客户端
client.close();
}
修改参数配置
先停止HDFS
进入HADOOP_HOME/etc/hadoop路径,编辑hdfs-site.xml文件
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
保存后再启动HDFS,但注意在启动后,等待一段时间在去进行操作,因为HDFS启动的时候有一段时间是安全模式,所以在安全模式下是操作不了HDFS的。