网站建设资讯

NEWS

网站建设资讯

hadoop(cdh版)下载安装即配置

  1. 下载hadoop压缩包,这里下载的是5.14.2版本(地址:http://archive.cloudera.com/cdh6/cdh/5/)
    hadoop(cdh版)下载安装即配置

hadoop(cdh版)下载安装即配置
2.通过Xftp工具将压缩包拉到虚拟机/opt目录下(目录个人随意)
hadoop(cdh版)下载安装即配置
3.解压hadoop压缩包(命令:tar -zxvf hadoop-2.6.0-cdh6.14.2.tar.gz)hadoop(cdh版)下载安装即配置
4.这里为了清晰,新建一个文件夹bigdata单独存放解压后的文件,并重命名
新建:mkdir bigdata
移动: mv hadoop-2.6.0-cdh6.14.2 ./bigdata/hadoop260hadoop(cdh版)下载安装即配置
5.重头:修改配置文件,移动至/etc/hadoop目录下,ls命令,下图中圈选的文件是本次我们需要进行配置的hadoop(cdh版)下载安装即配置
6.配置1:vi hadoop-env.sh修改如下位置,修改成自己JAVA_HOME的路径,可以echo $JAVA_HOME查看,修改完保存退出
hadoop(cdh版)下载安装即配置
7.配置2:vi core-site.xml修改如下位置hadoop(cdh版)下载安装即配置
hadoop(cdh版)下载安装即配置

成都创新互联长期为近1000家客户提供的网站建设服务,团队从业经验10年,关注不同地域、不同群体,并针对不同对象提供差异化的产品和服务;打造开放共赢平台,与合作伙伴共同营造健康的互联网生态环境。为嵩县企业提供专业的成都做网站、网站设计,嵩县网站改版等技术服务。拥有十年丰富建站经验和众多成功案例,为您定制开发。


                fs.defaultFS
                hdfs://192.168.56.109:9000
        
        
                hadoop.tmp.dir
                /opt/hadoopdata
        
        
                hadoop.proxyuser.root.users
                *
        
        
                hadoop.proxyuser.root.groups
                *
        

8.配置3:vi hdfs-site.xml,和上一步一样的标签中加入如下代码hadoop(cdh版)下载安装即配置

       
                dfs.replication
                1
        

9.配置4,这个文件需要自己copy,和上一步一样的标签中加入如下代码
命令:cp mapred-site.xml.template mapred-site.xml
配置:vi mapred-site.xmlhadoop(cdh版)下载安装即配置

        
                mapreduce.framework.name
                yarn
        

10.配置5:vi yarn-site.xml,中间有行注释可以删掉直接hadoop(cdh版)下载安装即配置


                yarn.resourcemanager.localhost
                localhost
        
        
                yarn.nodemanager.aux-services
                mapreduce_shuffle
        

11.配置六:vi /etc/profile,移动至最后,加入以下代码hadoop(cdh版)下载安装即配置

export HADOOP_HOME=/opt/bigdata/hadoop260
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
export HADOOP_INSTALL=$HADOOP_HOME

12.激活配置文件:source /etc/profile
13.格式化namenode:hdfs namenode -format
14.运行:start-all.sh,然后每一步都输入yes
15.查看运行情况:jps,如果能查看到如下5个进程,则代表配置运行成功,如果少哪一个,就去检查对应的配置文件hadoop(cdh版)下载安装即配置


文章标题:hadoop(cdh版)下载安装即配置
文章链接:http://njwzjz.com/article/piipgg.html