搭建Hadoop开发环境（全过程）

一、VMware环境准备

1.安装VMware

2.配置网络

systemctl status firewalld //查看防火墙 

systemctl stop firewalld //停止防火墙 systemctl disable firewalld //彻底关闭防火墙 

关闭selinux防火墙：

vi /etc/sysconfig/selinux 

vi /etc/sysconfig/network-scripts/ifcfg-ens33 //设置VMware主机IP地址 

改为：

BOOTPROTO=static
ONBOOT=yes
IPADDR=192.168.100.10
NETMASK=255.255.255.0
GATEWAY=192.168.100.20
DNS1=8.8.8.8

service network restart //重启网络 

二、配置Java Hadoop环境

1.xftp连接虚拟机

2.上传java hadoop压缩包到虚拟机

sudo chmod 777 /opt //将opt目录权限修改为可读可写可执行 

通过xftp软件直接将java hadoop压缩包复制到虚拟机的/opt目录下

在当前目录下执行命令

tar -zxvf 压缩包名称 

rm -rf 文件名 //删除压缩包 mv 文件名 修改成的文件名 

3.配置环境变量

vi /etc/profile //配置java hadoop 环境变量 

在文件的最下面配置环境变量：

 set java environment export JAVA_HOME=/opt/jdk export PATH=$PATH:$JAVA_HOME/bin set hadoop environment export HAOOP_HOME=/opt/hadoop export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin 

source /etc/profile //使刚刚配置的文件生效 java -version hadoop version //查看环境 

完成安装！

三、完全分布式

1.修改配置文件

hadoop-env.sh

sudo chmod 777 /opt/hadoop/etc/hadoop/hadoop-env.sh //将目录权限修改为可读可写可执行 

export JAVA_HOME=/opt/jdk 

core-site.xml

<property> <name>fs.defaultFS</name> <value>hdfs://xwgmaster:9000</value> </property> <!-- 指定Hadoop运行时产生文件存放目录 --> <property> <name>hadoop.tmp.dir</name> <value>/opt/hadoop/hadoopdata</value> </property> 

然后去虚拟机创建目录

mkdir /opt/hadoop/hadoopdata //创建目录 

下面的三个文件跟上面的操作一样 先在虚拟机输入命令获取相应文件名的权限 再直接在xftp软件中直接修改文件就可以了

hdfs-site.xml

<!—hadoop集群默认的副本数量是3 但是现在只是在单节点上进行伪分布式安装 无需保存3个副本 该属性的修改值为1 --> <property> <name>dfs.replication</name> <value>1</value> </property> 

mapred-site.xml
先修改文件名：

mv mapred-site.xml.template mapred-site.xml 

<!—Mapreduce是运行在yarn架构上的 需要进行特别声明--> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> 

yarn-site.xml

<property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.resourcemanager.address</name> <value>master:18040</value> </property> <property> <name>yarn.resourcemanager.scheduler.address</name> <value>master:18030</value> </property> <property> <name>yarn.resourcemanager.resource-tracker.address</name> <value>master:18025</value> </property> <property> <name>yarn.resourcemanager.admin.address</name> <value>master:18141</value> </property> <property> <name>yarn.resourcemanager.webapp.address</name> <value>master:18088</value> </property> 

2.克隆虚拟机

3.设置主机名

vi /etc/sysconfig/network //设置主机名 

vi /etc/hostname 

4.修改网络地址

service network restart //每次设置完都要重置一下网络 

5.配置映射关系

通过修改主机名和ip地址 使虚拟机通过计算机名也可以进行网络访问（三个虚拟机都要设置）

vi etc/hosts 

6.免密登录

ssh-keygen -t rsa //生成密钥 

cd /root/.ssh ll -a //在该目录下查看隐藏文件 

ssh-copy-id -i id_rsa.pub root@主机名 将密钥发送到目标主机
ssh-copy-id -i id_rsa.pub root@xwgmaster
ssh-copy-id -i id_rsa.pub root@xwgslave1
ssh-copy-id -i id_rsa.pub root@xwgslave2

7.配置节点

8.格式化虚拟机

在xwgmaster中格式化系统

hadoop namenode-format 

9.启动hadoop

成功！！！

三、Hadoop测试

1.初识Hadoop目录

通过xftp可以看到远程虚拟机的hadoop目录

2.hadoop管理界面

在浏览器输入外网ip加端口号（http://192.168.56.210:50070）就可以登录hadoop管理页面 查看hdfs集群信息

3.WordCount 案例

先在虚拟机本地创建文件：

cd /opt/hadoop //先进入hadoop目录下 ls //查看该目录下的文件 mkdir 文件夹名 //创建一个新文件夹 touch 文件名//创建一个新文件 vi 文件名 //对文件进行编辑  

按i进入编辑模式 输入单词 然后按esc退出编辑 输入“：wq”保存后退出

将centos的本地文件上传到hdfs：

Hadoop fs -put /opt/Hadoop/test/wcinput / //Hadoop fs -put 上传指令 目标文件地址 上传的目标地址 

然后再进入/opt/hadoop目录：

bin/Hadoop jar share/Hadoop/mapreduce/Hadoop-mapreduce-examples-2.7.2.jar wordcount /wcinput /wcoutput 

生成了一个名为wcoutput的文件

然后在虚拟机执行：

Hadoop fs -cat /wcoutput/part-r-00000