13518219792
这篇文章给大家分享的是有关Hadoop怎样配置的内容。小编觉得挺实用的，因此分享给大家做个参考，一起跟随小编过来看看吧。
10年的桓仁网站建设经验，针对设计、前端、开发、售后、文案、推广等六对一服务，响应快，48小时及时工作处理。成都营销网站建设的优势是能够根据用户设备显示端的尺寸不同，自动调整桓仁建站的显示方式，使网站能够适用不同显示终端，在浏览器中调整网站的宽度，无论在任何一种浏览器上浏览网站，都能展现优雅布局与设计，从而大程度地提升浏览体验。创新互联从事“桓仁网站设计”,“桓仁网站推广”以来，每个客户项目都认真落实执行。
1. 设置SSH免密码登录
注意两点：
自己跟自己的ssh免登也要设置;
需要在/etc/hosts中把localhost设置为自己的IP.
如果设置之后依然需要输入密码，可能是.ssh的权限问题，尝试以下命令
chown root /root/.ssh chown root /root/.ssh/* chmod 700 /root/.ssh chmod 600 /root/.ssh/*
2. 修改etc/hadoop目录和sbin目录下的配置文件
core-site.xml
fs.defaultFS hdfs://backup01:8020 For namenode listening io.file.buffer.size 4096 hadoop.tmp.dir file:/usr/local/hadoop/tmp
hdfs-site.xml
dfs.namenode.name.dir file:/usr/local/hadoop/name dfs.datanode.data.dir file:/usr/local/hadoop/data dfs.replication 1 dfs.webhdfs.enabled true
yarn-site.xml
yarn.nodemanager.aux-services mapreduce_shuffle yarn.nodemanager.aux-services.mapreduce.shuffle.class org.apache.hadoop.mapred.ShuffleHandler yarn.resourcemanager.address backup01:8032 yarn.resourcemanager.scheduler.address backup01:8030 yarn.resourcemanager.resource-tracker.address backup01:8031 yarn.resourcemanager.admin.address backup01:8033
mapred-site.xml
mapred.job.tracker backup01:9001
hadoop-env.sh
在文件开头增加Java路径
export JAVA_HOME=/usr/local/jdk export HADOOP_PID_DIR=/usr/local/hadoop/tmp
yarn-env.sh
在文件开头增加Java路径
export JAVA_HOME=/usr/local/jdk
master (注意3.x.x不需要配置master这个文件)
将backup01作为secondary namenode
backup01
slaves (注意3.x.x对应为workers文件)
backup02
sbin/yarn-daemon.sh
在开头增加一下代码
export YARN_PID_DIR=/usr/local/hadoop/tmp
3.x.x版本Hadoop所需的额外操作
需要在sbin路径下修改start-dfs.sh、stop-dfs.sh、start-yarn.sh和stop-yarn.sh 4个文件，否则运行hadoop时会抛出以下错误：
Attempting to operate on hdfs namenode as root ERROR: but there is no HDFS_NAMENODE_USER defined. Aborting operation.
将start-dfs.sh，stop-dfs.sh两个文件顶部下一行添加以下参数
#!/usr/bin/env bash HDFS_DATANODE_USER=root HADOOP_SECURE_DN_USER=root HDFS_NAMENODE_USER=root HDFS_SECONDARYNAMENODE_USER=root
start-yarn.sh、stop-yarn.sh顶部也需添加以下参数：
#!/usr/bin/env bash YARN_RESOURCEMANAGER_USER=root HADOOP_SECURE_DN_USER=root YARN_NODEMANAGER_USER=root
3. 输入以下命令以格式化HDFS
hdfs namenode -format
4. 启动Hadoop
$./bin/start-dfs.sh $./bin/start-yarn.sh
5. 输入以下命令验证Hadoop是否启动成功
hadoop fs -mkdir /in hadoop fs -ls /
感谢各位的阅读！关于“Hadoop怎样配置”这篇文章就分享到这里了，希望以上内容可以对大家有一定的帮助，让大家可以学到更多知识，如果觉得文章不错，可以把它分享出去让更多的人看到吧！
