13518219792
创新互联www.cdcxhl.cn八线动态BGP香港云服务器提供商，新人活动买多久送多久，划算不套路！
创新互联是一家专注于成都网站建设、成都网站设计与策划设计,化德网站建设哪家好?创新互联做网站,专注于网站建设10年,网设计领域的专业建站公司;建站业务涵盖:化德等地区。化德做网站价格咨询:18980820575今天就跟大家聊聊有关什么是Hadoop集群动态扩容，可能很多人都不太了解，为了让大家更加了解，小编给大家总结了以下内容，希望大家根据这篇文章可以有所收获。
1、基础准备
在基础准备部分，主要是设置 hadoop 运行的系统环境
修改新机器系统 hostname（通过/etc/sysconfig/network 进行修改）
[root@node-4 ~]# cat /etc/sys conf 1g/network
NE TWORKING=yes
HOS TNAME=node -4
[r oot@node-4 ~ ] #
修改 hosts 文件，将集群所有节点 hosts 配置进去（集群所有节点保持hosts文件统一）
rootenode-1 -]# cat /etc/hosts
127.0.0.1 localhost localhost. localdomain localhost4 localhost4. local domain4
: :1 localhost localhost. localdomain localhost6 localhost6. local domain6
192.168.227.151 node-1
192.168.227.152 node-2
192.168.227.153 node-3
192.168.227.154 node-4
rootenode-1 ~]#
设置 NameNode 到 DataNode 的免密码登录（ssh-copy-id 命令实现）
修改主节点 slaves 文件，添加新增节点的 ip 信息（集群重启时配合一键启动脚本使用）
[root@node-1 J]# vim /export/servers/hadoop-2 .6. 0-cdh6.14.0/etc/hadoop/s laves
node-1
node-2
node-3
node-4
在新的机器上上传解压一个新的hadoop安装包，从主节点机器上将hadoop的所有配置文件，scp到新的节点上。
2、添加datanode
在namenode所在的机器的/export/servers/hadoop-2.6.0-cdh6.14.0/etc/hadoop 目录下创建 dfs.hosts 文件
cd /export/servers/hadoop-2.6.0-cdh6.14.0/etc/hadoop
vim dfs.hosts
添加如下主机名称（包含新服役的节点）
node-1
node-2
node-3
node-4
在 namenode 机器的 hdfs-site.xml 配置文件中增加 dfs.hosts 属性
cd /export/servers/hadoop-2.6.0-cdh6.14.0/etc/hadoop vim hdfs-site.xml
dfs.hosts 属性的意义：命名一个文件，其中包含允许连接到namenode的主机列表。必须指定文件的完整路径名。如果该值为空，则允许所有主机。相当于一个白名单，也可以不配置。
在新的机器上单独启动datanode：hadoop-daemon.sh start datanode
[root@node-4 ~]# hadoop-daemon.sh start datanode
starting datanode: logging to /export /servers/hadoop-2.6.0-cdh614 .0/ lops /hadoop root datanode -node-4 out
[root@node-4 ~]#
刷新页面就可以看到新的节点加入进来了
3、datanode负载均衡服务
新加入的节点，没有数据块的存储，使得集群整体来看负载还不均衡。因此最后还需要对hdfs负载设置均衡，因为默认的数据传输带宽比较低，可以设置为64M，即hdfs dfsadmin -setBalancerBandwidth 67108864即可
默认balancer的threshold为10%，即各个节点与集群总的存储使用率相差不超过10%，我们可将其设置为5%。然后启动Balancer，sbin/start-balancer.sh -threshold 5，等待集群自均衡完成即可。
4、添加nodemanager
在新的机器上单独启动 nodemanager：
yarn-daemon.sh start nodemanager
在ResourceManager，通过yarn node -list查看集群情况
看完上述内容，你们对什么是Hadoop集群动态扩容有进一步的了解吗？如果还想了解更多知识或者相关内容，请关注创新互联-成都网站建设公司行业资讯频道，感谢大家的支持。
