微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

Hadoop_HDFS_API 参数的优先级

上传操作后,发现上传的副本数量为 \(3\)​​​​ ,这是因为在 hdfs-default.xml认的dfs.replication 为 \(3\)​​

image


这其中涉及到参数的优先级

优先级hdfs-default.xml \(<\)​​​​​​​ hdfs-site.xml \(<\)​​​​​ 在项目资源目录下的配置文件 \(<\)​​ 代码里面的配置​​

修改副本数的方法

resources 目录下创建 hdfs-site.xml 并在其中写入下面代码修改副本数

<?xml version="1.0" encoding="UTF-8" ?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
    <property>
        <name>dfs.replication</name>>
        <value>1</value><!-- 修改副本数 -->
    </property>
</configuration>

这时,再上传一个文件就可以看到副本数变成了我们设置的数得出了 hdfs-default.xml < hdfs-site.xml的结论

image


或者在 HdfsClient.java 中的 @Before

Configuration configuration = new Configuration();

的下一行添加

configuration.set("dfs.replication","2"/*设置副本数*/);

来设置副本数,在上传一个文件测试一下

image

所以代码里面的配置优先级最高

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 [email protected] 举报,一经查实,本站将立刻删除。

相关推荐