02_Hadoop集群环境的建立

全栈程序员-站长 • 2021年8月22日下午9:00 • 未分类 • 阅读 56

上一篇文章中，已经明确的搭建了Hadoop的四台虚拟环境。

在这里我将ssh工具有xshell换成了SecureCRT,使用方式和XShell，操作是一样的。

启动所有的虚拟机器。由于是克隆产生的，所以，所有的机器环境都是相同的。

启动所有的虚拟机，并启动SecureCRT，建立Session会话。为了便于操作，将四个会话的窗口进行如图的排列

02_Hadoop集群环境的建立

为了保证机器间的正常通信，关闭所有的防火墙，并保证防火墙永久关闭：

 systemctl stop firewalld

systemctl disable firewalld

启动hadoop

① 配置hadoop

进入hadoop目录

cd /usr/local/hadoop/etc/hadoop

目录如下：

02_Hadoop集群环境的建立

其中的core-site.xml文件，就是我们配置主机和从机的核心配置文件，此配置针对所有的hadoop机器

vim core-site.xml 打开配置文件，由于master和slaer之间是通过网络进行连接的，因此他们之间需要特定的协议，协议就在此文件中进行配置，进行如下配置

在所有的机器的该配置文件中做如下配置：

<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://master:9000</value> </property> <--文件存储目录--> <property> <name>hadoop.tmp.dir</name> <value>/var/hadoop</value> </property> </configuration>

02_Hadoop集群环境的建立

在master上配置hdfs-stie.xml

<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://master:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/var/hadoop</value> </property> </configuration>

针对四台机器，master将作为主机，用来存储namenode，也就是至存储文件名称，其余的三台作为datanode，也就是真正数据存储在slaer上

02_Hadoop集群环境的建立