educoder-Hadoop开发环境搭建各关卡通关答案

第1关：配置开发环境 – JavaJDK的配置

mkdir /app cd /opt tar -zxvf jdk-8u171-linux-x64.tar.gz mv jdk1.8.0_171/ /app vim /etc/profile 光标移动到文件末尾 i JAVA_HOME=/app/jdk1.8.0_171 CLASSPATH=.:$JAVA_HOME/lib/tools.jar PATH=$JAVA_HOME/bin:$PATH export JAVA_HOME CLASSPATH PATH 按esc键 冒号shift+: wq source /etc/profile 

第2关：配置开发环境 – Hadoop安装与伪分布式集群搭建

cd /opt tar -zxvf hadoop-3.1.0.tar.gz -C /app cd /app mv hadoop-3.1.0/ hadoop3.1 

提示：如果出现文件解压大小限制的情况，可以使用 ulimit -f 命令来解除限制。

ssh-keygen -t rsa -P '' 

回车

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys chmod 600 ~/.ssh/authorized_keys vim /etc/ssh/sshd_config 

在文件中找到这三个 找到之后，移动光标 i 1 删掉开头的 # 和下图内容相同 cd /app/hadoop3.1/etc/hadoop/ vim hadoop-env.sh i 

# The java implementation to use.  #export JAVA_HOME=${JAVA_HOME}  export JAVA_HOME=/app/jdk1.8.0_171 

按esc键

冒号，shift+:

wq

vim yarn-env.sh i export JAVA_HOME=/app/jdk1.8.0_171 

按esc键

冒号，shift+:

wq

vim core-site.xml 在文件末尾的configuration标签中添加代码如下： <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> <description>HDFS的URI，文件系统://namenode标识:端口号</description> </property> <property> <name>hadoop.tmp.dir</name> <value>/usr/hadoop/tmp</value> <description>namenode上本地的hadoop临时文件夹</description> </property> 

按esc键

冒号，shift+:

wq

vim hdfs-site.xml 在文件末尾的configuration标签中添加代码如下： <property> <name>dfs.name.dir</name> <value>/usr/hadoop/hdfs/name</value> <description>namenode上存储hdfs名字空间元数据 </description> </property> <property> <name>dfs.data.dir</name> <value>/usr/hadoop/hdfs/data</value> <description>datanode上数据块的物理存储位置</description> </property> <property> <name>dfs.replication</name> <value>1</value> </property> 

按esc键

冒号，shift+:

wq

vim mapred-site.xml 在文件末尾的configuration标签中添加代码如下： <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> 

按esc键

冒号，shift+:

wq

vim yarn-site.xml 在文件末尾的configuration标签中添加代码如下： <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.resourcemanager.webapp.address</name> <value>192.168.2.10:8099</value> <description>这个地址是mr管理界面的</description> </property> 

按esc键

冒号，shift+:

wq

mkdir -p /usr/hadoop/tmp mkdir /usr/hadoop/hdfs mkdir /usr/hadoop/hdfs/data mkdir /usr/hadoop/hdfs/name vim /etc/profile 文件末尾插入以下代码： #set Hadoop Enviroment export HADOOP_HOME=/app/hadoop3.1 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin 

按esc键

冒号，shift+:

wq source /etc/profile 

hadoop namenode -format cd /app/hadoop3.1/sbin vim start-dfs.sh i 回车键换行 在文件顶部添加以下参数： #!/usr/bin/env bash HDFS_DATANODE_USER=root HADOOP_SECURE_DN_USER=hdfs HDFS_NAMENODE_USER=root HDFS_SECONDARYNAMENODE_USER=root 

按esc键

冒号，shift+:

wq

vim stop-dfs.sh i 回车键换行 在文件顶部添加以下参数： #!/usr/bin/env bash HDFS_DATANODE_USER=root HADOOP_SECURE_DN_USER=hdfs HDFS_NAMENODE_USER=root HDFS_SECONDARYNAMENODE_USER=root 

按esc键

冒号，shift+:

wq

vim start-yarn.sh i 

回车键换行 在文件顶部添加以下参数： #!/usr/bin/env bash YARN_RESOURCEMANAGER_USER=root HADOOP_SECURE_DN_USER=yarn YARN_NODEMANAGER_USER=root 

按esc键

冒号，shift+:

wq

vim stop-yarn.sh i 回车键换行 在文件顶部添加以下参数： #!/usr/bin/env bash YARN_RESOURCEMANAGER_USER=root HADOOP_SECURE_DN_USER=yarn YARN_NODEMANAGER_USER=root 

按esc键

冒号，shift+:

wq

start-dfs.sh jps