网站建设资讯

NEWS

网站建设资讯

Hadoop无法上传文件查找原因-创新互联

部署了集群,上传测试文件到HDFS文件系统的时候出现问题。could only be replicated to 0 nodes, instead of 1,如下图所示:

成都创新互联公司于2013年开始,是专业互联网技术服务公司,拥有项目成都做网站、网站建设网站策划,项目实施与项目整合能力。我们以让每一个梦想脱颖而出为使命,1280元丰城做网站,已为上家服务,为丰城各地企业和个人服务,联系电话:18982081108

Hadoop无法上传文件查找原因

    度娘寻找解决方案:

    博客链接:http://www.cnblogs.com/linjiqin/archive/2013/03/13/2957310.html

    该博客指出,该产生该异常的原因如下:

1.系统或hdfs是否有足够的空间

    这个肯定是有的,测试数据,才几十KB,可以用hadoop dfsadmin -report查看报告,也可以直接去web查看大小。localhost:50070

2.datanode数是否正常

    主节点Namenode、JobTracker等进程都在,所有的从节点均有Datanode、TaskTracker进程,所以应该排除

3.是否在safemode

    Web上可以看见safemode off,表明安全模式关闭。如果非要用命令查看,可以使用dfsadmin -safemode get 查看是否开启安全模式。如果是安全模式,可以用dfsadmin -safemode leave强制离开安全模式。

4.防火墙是否关闭

    ubuntu上关闭防火墙的命令是ufw disabled,我的集群早就关闭了。

5.关闭hadoop、格式化、重启hadoop

    没有办法的办法,但是非常抱歉,对于我的问题没有起到任何作用。

最终的解决方案:

    原来是自己学艺不精,linux没有学扎实,这么常见的错误我都没看穿。hadoop所在的目录已经快用完空间了,所以报这个错误,我修改了core-site.xml中DFS的地址,指向了有多余空间的目录,重新格式化HDFS,跑案例,成功。

总结:

    很多时候错误其实并不是我们目前所关注的问题,在于很小很细微的细节,自己的锅,接好咯~

另外有需要云服务器可以了解下创新互联scvps.cn,海内外云服务器15元起步,三天无理由+7*72小时售后在线,公司持有idc许可证,提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案,具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势,专为企业上云打造定制,能够满足用户丰富、多元化的应用场景需求。


文章名称:Hadoop无法上传文件查找原因-创新互联
转载注明:http://njwzjz.com/article/cdsdhh.html