centos下安装分布式Hadoop3.1.1

一）安装环境

10年积累的成都网站建设、网站设计经验，可以快速应对客户对网站的新想法和需求。提供各种问题对应的解决方案。让选择我们的客户得到更好、更有力的网络服务。我虽然不认识你，你也不认识我。但先网站设计制作后付款的网站建设流程，更有新华免费网站建设让你可以放心的选择与我们合作。

centos 7

JDK 1.8.0_181

VMware 12 pro

hadoop 3.1.1

二）安装环境准备

分布式系统准备
下面示例中，我安装了3个独立的虚拟机系统，其中HW-Machine作为master，另外2台分别为slaves：
Java环境配置 //3台虚拟机均需配置
JDK安装包的获取以及Java环境的配置，请参考另一篇博文《Centos下Java环境安装配置》。
静态IP设置 //3台虚拟机均需设置，并修改/etc/hosts文件及/etc/hostname文件
由于分布式系统配置时，会写入系统主机名或者主机IP，因此我们需要对Hadoop环境所用的系统主机设置静态IP，具体设置方法，请参考另一篇博《VMware中Centos系统设置静态IP》。
我这里的设置情况如下：
SSH免密码登录配置 //3台虚拟机均需配置
Hadoop的master与slave之间的数据传输会使用SSH，因此我们还需要对Hadoop环境所用的系统主机设置SSH免密码登录，具体设置方法，请参考另一篇博文《Centos设置SSH免密码远程登录》。

三）Hadoop安装配置

注：

a. hadoop要求，所有用到的主机系统需要建立相同的用户，在本例中我直接使用root账号，因此所有操作均是以root账号；

b. 对应下面配置文件修改，未特别说明，只需修改master上面的文件。

Hadoop下载
直接去apache官网下载http://mirrors.hust.edu.cn/apache/ ，如本次实验中下载的是： hadoop-3.1.1.tar.gz
直接解压下载软件包： tar -zxvf hadoop-3.1.1.tar.gz -C DestinationFolder，比如我解压到了/usr/local/目录下面（这里的3台系统均需下载并解压）
配置文件修改
3.1 修改core-site.xml文件，文件位置/xxx/etc/hadoop/目录下，3个系统都必须修改该文件
3.2 修改hadoop-env.sh文件，文件位置/xxx/etc/hadoop/目录下，3个系统都必须修改该文件
或者如下修改（注意JAVA_HOME与HADOOP_HOME根据你自己环境配置设定），多添加红框内的内容，这样设置后可以省略后面的3.7，3.8，3.9三个步骤：
3.3 修改hdfs-site.xml文件，文件位置/xxx/etc/hadoop/目录下，只需修改master节点
或者，按如下设置（注意根据master实际配置，修改name、data目录路径及namenode的地址）：
3.4 修改mapred-site.xml文件，文件位置/xxx/etc/hadoop/目录下，只需修改master节点
注意：该文件可以只用设置此一个属性，其他会默认初始化。
3.5 修改workers文件，文件位置/xxx/etc/hadoop/目录下，只需修改master节点
注意：这里可以只设置slave1和slave2，这样master系统就不会作为DataNode节点。
3.6 修改yarn-site.xml文件，文件位置/xxx/etc/hadoop/目录下，只需修改master节点
注意：这里也可以只用设置yarn.resourcemanager.hostname和yarn.nodemanager.aux-services属性。
3.7 修改start-dfs.sh及stop-dfs.sh文件，文件位置/xxx/sbin/目录下，在这两个文件头部加入如下变量：
HDFS_DATANODE_USER=root