Centos7安装Hadoop教程

全栈程序员-站长 • 2026年3月16日下午4:22 • 未分类 • 阅读 2

一：安装SSH

1，执行下面的命令安装ssh

yum install openssh-clients yum install openssh-server

2，执行如下命令测试一下 SSH 是否可用（SSH首次登陆提示 yes/no 信息，输入 yes 即可，然后按照提示输入 root 用户的密码，这样就登录到本机了），如下图所示。

Centos7安装Hadoop教程

3，执行以下命令

exit # 退出刚才的 ssh localhost cd ~/.ssh/ # 若提示没有该目录，请先执行一次ssh localhost ssh-keygen -t rsa # 会有提示，都按回车即可 cat id_rsa.pub >> authorized_keys # 加入授权 chmod 600 ./authorized_keys # 修改文件权限

二：安装JDK

安装之前先检查一下系统有没有自带 open-jdk

命令：

rpm -qa |grep java rpm -qa |grep jdk rpm -qa |grep gcj

如果没有输入信息表示没有安装。

如果安装可以使用 rpm -qa | grep java | xargs rpm -e –nodeps 批量卸载所有带有 Java 的文件这句命令的关键字是 java

首先检索包含 java 的列表

yum list java*

检索 1.8的列表

yum list java-1.8*

安装 1.8.0的所有文件

yum install java-1.8.0-openjdk* -y

使用命令检查是否安装成功

java -version

修改/etc/profile文件，文件尾部增加以下内容

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.212.b04-0.el7_6.x86_64 export JRE_HOME=$JAVA_HOME/jre export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export PATH=$JAVA_HOME/bin:$PATH

使profile文件生效，执行下面的命令：

source  /etc/profile

三：安装和配置Hadoop

1，官网下载Hadoop安装包

wget http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.1.2/hadoop-3.1.2.tar.gz

2，解压安装包（时间比较长）

tar zxvf hadoop-3.1.2.tar.gz

3，修改etc/hadoop/core-site.xml文件

 
   
    
    
    
      fs.defaultFS 
     
    
      hdfs://内网IP地址:9000 
     
    
    
    
    
      hadoop.tmp.dir 
     
    
      /app/hadooptemp

4，修改etc/hadoop/hdfs-site.xml文件

 
   
    
    
    
      dfs.replication 
     
    
      1 
     
    
    
    
    
      dfs.http.address 
     
    
      0.0.0.0:9870

5，修改etc/hadoop/hadoop-env.sh文件

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.212.b04-0.el7_6.x86_64

备注：JAVA_HOME 一定要配置jdk的绝对路径

6，修改etc/hadoop/yarn-env.sh文件

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.212.b04-0.el7_6.x86_64

备注：JAVA_HOME 一定要配置jdk的绝对路径

7，修改sbin/stop-dfs.sh文件，在顶部增加

HDFS_DATANODE_USER=root HDFS_DATANODE_SECURE_USER=hdfs HDFS_NAMENODE_USER=root HDFS_SECONDARYNAMENODE_USER=root

Centos7安装Hadoop教程

8，修改sbin/start-dfs.sh文件，在顶部增加

HDFS_DATANODE_USER=root HDFS_DATANODE_SECURE_USER=hdfs HDFS_NAMENODE_USER=root HDFS_SECONDARYNAMENODE_USER=root

Centos7安装Hadoop教程

9，格式化，进入hadoop的bin文件夹，执行下面的命令

./hdfs namenode -format

10，进入sbin文件夹，启动hadoop

./start-dfs.sh

11，防火墙开启端口,如果用的云服务器，请将9870端口加入安全组出入口

//添加9870端口到防火墙 firewall-cmd --zone=public --add-port=9870/tcp --permanent //重启防火墙 firewall-cmd --reload

12，查看jps，如果是4个或者5个就配置成功，再执行步骤13

Centos7安装Hadoop教程

13，通过web访问hadoop，访问地址：http://IP地址:9870

Centos7安装Hadoop教程

发布者：全栈程序员-站长，转载请注明出处：https://javaforall.net/229585.html原文链接：https://javaforall.net

Centos7安装Hadoop教程

关于作者

全栈程序员-站长

发表回复

Centos7安装Hadoop教程

关于作者

全栈程序员-站长

相关推荐

html5里的空心圆柱体,容积及空心圆柱体积.doc[通俗易懂]

Linux下SSH免密码登录配置详解

n皇后问题 回溯法java_Java解决N皇后问题

latex大括号公式编辑「建议收藏」

网站优化网络推广怎么做_网站推广公司

扣子平台智能体如何实现上下文记忆？

发表回复

n皇后问题回溯法java_Java解决N皇后问题