如何配置HadoopHA集群文件-创新互联

今天小编就为大家带来一篇配置Hadoop HA 集群文件的文章。小编觉得挺不错的，为此分享给大家做个参考。一起跟随小编过来看看吧。

> 1、hadoop-env.sh配置

export JAVA_HOME=(jdk安装地址)

> 2、hdfs-site.xml配置文件

<此新名称服务的逻辑名称>

dfs.nameservices
mycluster

<名称服务中每个NameNode的唯一标识符>

dfs.ha.namenodes.mycluster
master，slave1



dfs.namenode.rpc-address.mycluster.master
master:50070


dfs.namenode.rpc-address.mycluster.slave1
slave1:50070

<每个NameNode监听的标准HTTP地址>

dfs.namenode.http-address.mycluster.master
master:9000


dfs.namenode.http-address.mycluster.slave1
slave1:9000

<配置JournalNodes 集群的URI>

dfs.namenode.shared.edits.dir
qjournal://master:8485;slave1:8485;slave2:8485/mycluster

<配置故障转移代理类>

dfs.client.failover.proxy.provider.mycluster
org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider



dfs.ha.fencing.methods
sshfence


dfs.ha.fencing.ssh.private-key-files
/root/.ssh/id_rsa



dfs.ha.fencing.methods
shell（/bin/true）



dfs.journalnode.edits.dir
/usr/local/src/hadoop/data/journalnode/jn

<自动故障转移>

dfs.ha.automatic-failover.enabled
true

> 3、core-site.xml配置文件

<指定hdfs的nameservice>

fs.defaultFS
hdfs://mycluster

<指定hadoop临时目录>

hadoop.tmp.dir
/opt/tmp/hadoop/ha



ha.zookeeper.quorum
master:2181,slave1:2181,slave2:2181

> 4、mapred-site.xml配置

mapreduce.farmework.name
yarn

> 5、yarn-site.xml配置

<打开高可用>

yarn.resourcemanager.ha.enabled
true

<启用自动故障转移 >

yarn.resourcemanager.ha.automatic-failover.enabled
true



yarn.resourcemanager.cluster-id
yarn-rm-cluster



yarn.resourcemanager.ha.rm-ids
rm1,rm2



yarn.resourcemanager.hostname.rm1
master


yarn.resourcemanager.hostname.rm2
server1



yarn.resourcemanager.zk-address
master:2181,server1:2181,server2:2181

<配置YARN的http端口>

yarn.resourcemanager.webapp.address.rm1
master:8088
 

yarn.resourcemanager.webapp.address.rm2
slave1:8088

yarn.nodemanager.aux-services
mapreduce_shuffle

> 6、slaves配置（DataNode）
master
slave1
slave2

以上就是如何配置Hadoop HA 集群文件的汇总，内容较为全面，而且我也相信有相当的一些工具可能是我们日常工作可能会见到或用到的。通过这篇文章，希望你能收获更多。

另外有需要云服务器可以了解下创新互联cdcxhl.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。