Hadoop集群搭建问题总结

Hadoop集群搭建问题总结1 问题描述 hadoop 集群启动时 datanode 进程启动不了原因分析 namenode 和 datanode 下 VERSION 文件中的 clusterID 不一致 导致 datanode 启动不了解决方法 进入 hadoop 的配置目录 hadoop 2 7 1 etc hadoop 进入 hdfs site xml 配置文件 找到 namenode 和 datanode 的配置空间 配置 namenode 数据存放的位置 可以不配置 如果不配置 默认用的是 core site xml 里配置的 hadoop t

1、

问题描述:hadoop集群启动时,datanode进程启动不了

原因分析:namenode和datanode下VERSION文件中的clusterID不一致,导致datanode启动不了

解决方法:进入hadoop的配置目录hadoop-2.7.1/etc/hadoop,进入hdfs-site.xml配置文件,找到namenode和datanode的配置空间

 
   
   
   
     dfs.namenode.name.dir 
    
   
     file:///root/work/hadoop-2.7.1/tmp/namenode 
    
   
   
   
   
     dfs.datanode.data.dir 
    
   
     file:///root/work/hadoop-2.7.1/tmp/datanode 
    
   

 进入/root/work/hadoop-2.7.1/tmp/目录,分别进入amenode/current和datanode/current目录,编辑VERSION文件,复制namenode的clusterID,覆盖掉datanode的clusterID,然后再次启动datanode,即可启动成功!

2、

问题描述:flink 在idea本地运行,设置检查点为Hadoop文件系统,启动报错,权限不足、

Hadoop集群搭建问题总结

原因分析:登录Hadoop文件系统页面,发现/flink/文件夹拥有者为hdfs

Hadoop集群搭建问题总结

解决方法:设置Hadoop环境变量,HADOOP_USER_NAME为hdfs

Hadoop集群搭建问题总结

 电脑重启,idea再次启动程序,即可正常运行

后续持续更新中。。。。。。

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/229171.html原文链接:https://javaforall.net

(0)
上一篇 2026年3月16日 下午5:18
下一篇 2026年3月16日 下午5:19


相关推荐

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号