1. 全栈程序员必看首页

Hadoop实战篇（1）

全栈程序员-站长 • • 未分类 • 阅读 2

Hadoop实战篇（1）Hadoop 实战篇 1 作者 WenasWei 前言在前面介绍过了 Hadoop 离线批处理技术的整体架构 接下来便开始学习安装配置并使用 Hadoop 将从以下几点介绍 Linux 环境的配置与安装 HadoopHadoop 的三种安装模式介绍本地模式安装伪集群模式安装一 Linux 环境的配置与安装 HadoopHadoop 需要使用到 Linux 环境上的一些基本的配置需要 Hadoop 用户组和用户添加 免密登录操作 JDK 安装 1 1VMWare 中 Ubuntu 网络配置在使

Hadoop实战篇（1）

Hadoop实战篇1

作者 | WenasWei


前言

在前面介绍过了Hadoop-离线批处理技术的整体架构，接下来便开始学习安装配置并使用 Hadoop ; 将从以下几点介绍:

  • Linux 环境的配置与安装 Hadoop
  • Hadoop 的三种安装模式介绍
  • 本地模式安装
  • 伪集群模式安装


一 Linux环境的配置与安装Hadoop

Hadoop需要使用到 Linux 环境上的一些基本的配置需要，Hadoop 用户组和用户添加，免密登录操作，JDK安装

1.1 VMWare中Ubuntu网络配置

在使用 VMWare 安装 Ubuntu18.04-Linux 操作系统下时产生系统配置问题可以通过分享的博文进行配置，CSDN跳转链接: VMWare中Ubuntu网络配置

其中包含了以下几个重要操作步骤:

  • buntu系统信息与修改主机名
  • Windows设置VMWare的NAT网络
  • Linux网关设置与配置静态IP
  • Linux修改hosts文件
  • Linux免密码登录

1.2 Hadoop 用户组和用户添加

1.2.1 添加Hadoop用户组和用户

以 root 用户登录 Linux-Ubuntu 18.04虚拟机，执行命令:

$ groupadd hadoop $ useradd -r -g hadoop hadoop
1.2.2 赋予Hadoop用户目录权限

将 /usr/local 目录权限赋予 Hadoop 用户， 命令如下:

$ chown -R hadoop.hadoop /usr/local/ $ chown -R hadoop.hadoop /tmp/ $ chown -R hadoop.hadoop /home/
1.2.3 赋予Hadoop用户sodu权限

编辑/etc/sudoers文件，在root ALL=(ALL:ALL) ALL下添加hadoop ALL=(ALL:ALL) ALL

$ vi /etc/sudoers Defaults env_reset Defaults mail_badpass Defaults secure_path="/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/snap/bin" root ALL=(ALL:ALL) ALL hadoop ALL=(ALL:ALL) ALL %admin ALL=(ALL) ALL %sudo ALL=(ALL:ALL) ALL
1.2.4 赋予Hadoop用户登录密码
$ passwd hadoop Enter new UNIX password: 输入新密码 Retype new UNIX password: 确认新密码 passwd: password updated successfully

1.3 JDK安装

Linux安装JDK可以参照分享的博文《Logstash-数据流引擎》-
<第三节：logstash安装>
–(第二小节: 3.2 Linux安装JDK进行)安装配置到每一台主机上，CSDN跳转链接:
Logstash-数据流引擎

1.4 Hadoop官网下载

官网下载：https://hadoop.apache.org/releases.html Binary download

  • 使用 wget 命名下载（下载目录是当前目录）：

例如：version3.3.0 https://mirrors.bfsu.edu.cn/apache/hadoop/common/hadoop-3.3.0/hadoop-3.3.0.tar.gz

$ wget https://mirrors.bfsu.edu.cn/apache/hadoop/common/hadoop-3.3.0/hadoop-3.3.0.tar.gz
  • 解压、移动到你想要放置的文件夹: /usr/local
$ mv ./hadoop-3.3.0.tar.gz /usr/local $ cd /usr/local $ tar -zvxf hadoop-3.3.0.tar.gz

1.5 配置Hadoop环境

  • 修改配置文件/etc/profile:
$ vi /etc/profile # 类同JDK配置添加 export JAVA_HOME=/usr/local/java/jdk1.8.0_152 export JRE_HOME=/usr/local/java/jdk1.8.0_152/jre export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib export HADOOP_HOME=/usr/local/hadoop-3.3.0 export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH:$HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
  • 使配置文件生效
$ source /etc/profile
  • 查看Hadoop配置是否成功
$ hadoop version Hadoop 3.3.0 Source code repository https://gitbox.apache.org/repos/asf/hadoop.git -r aa96f1871bfd858f9bac59cf2a81ec470da649af Compiled by brahma on 2020-07-06T18:44Z Compiled with protoc 3.7.1 From source with checksum 5dc29b802d6ccd77b262ef9d04d19c4 This command was run using /usr/local/hadoop-3.3.0/share/hadoop/common/hadoop-common-3.3.0.jar

从结果可以看出，Hadoop版本为 Hadoop 3.3.0,说明 Hadoop 环境安装并配置成功。


二 Hadoop 的三种安装模式介绍

Hadoop 提供了3种不同得到安装模式，分别为单机模式、伪集群模式和集群模式。

2.1 单机模式

单机模式(本地模式)：Hadoop默认模式、即非分布式模式、无需进行其他配置即可运行非分布式，即java单进程，方便进行调试、跟踪和排除问题,只需要在 Hadoop 的 hadoop-env.sh 文件中配置 JAVA_HOME 即可。

本地单机模式以 Hadoop Jar 命令运行 Hadoop 程序，并将运行结果直接输出到本地磁盘。

2.2 伪集群模式

Hadoop在单节点(单点故障问题)上以伪分布式的方式运行，Hadoop进程以分离的java进程来运行，节点既作为NameNode也作为DataNode，同时读取的是HDFS中的文件。能够在逻辑上提供与集群模式一样的运行环境，在物理上伪集群模式部署在单台服务器上:而集群模式需要部署在多台服务器上，以实现物理上的完全集群分布。

2.3 集群模式

集群模式也称完全集群模式，它与伪集群模式有着本质的区别: 集群模式是在物理服务器上实现的完全分布式集群，部署在多台物理服务器上;而伪集群模式在逻辑上是集群模式，但它是部署在单台物理服务器上的。

对于生产环境，要求 Hadoop 环境的高可靠性和高可用性，往往某个节点故障就会导致整个集群不可用;同时，要求生产环境的数据必须可靠，某个数据节点出现故障或者数据发生丢失后，数据必须可恢复。这就要求生产环境上必须部署Hadoop 的集群模式，以应对生产环境的各种要求。

集群模式的部署是3种安装模式中最复杂的，它需要部署在多台物理服务器上，要提前将服务器环境规划好，除了要配置 Hadoop 所使用的文件系统、HDFS 的副本数量和 YARN 地址外。还要配置各台服务器之间的 SSH 免密码登录、各 Hadoop 节点之间的 RPC通信、NameNode 失败自动切换机制、HA高可用等。另外，还需要安装配置分布式应用协调服务–Zookeeper。

集群模式以 Hadoop Jar 命令运行 Hadoop 程序，并将运行结果输出到 HDFS 中。


三 单机模式

3.1 修改Hadoop配置文件

单机模式下修改 Hadoop 配置文件 hadoop-env.sh,添加上 Java 环境配置路径

$ vi /usr/local/hadoop-3.3.0/etc/hadoop/hadoop-env.sh # 查找到JAVA_HOME并添加JAVA_HOME地址 export JAVA_HOME=/usr/local/java/jdk1.8.0_152

3.2 创建测试数据文件

  • 创建目录/home/hadoop/input:
$mkdir -p /home/hadoop/input
  • 创建测试数据文件data.input:
$ cd /home/hadoop/input/ $ vi data.input # 写入数据内容 hadoop mapreduce hive flume hbase spark storm flume sqoop hadoop hive kafka spark hadoop storm

3.3 运行Hadoop测试用例

运行 Hadoop 自带的 MapReduce 示例程序，统计指定文件中的单词个数。

  • 运行 Hadoop 自带的 MapReduce 程序命令:
$ hadoop jar /usr/local/hadoop-3.3.0/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.0.jar wordcount /home/hadoop/input/data.input /home/hadoop/output
  • 通用格式说明如下:
    • hadoop jar: 以 Hadoop 命令行的形式运行 MapReduce程序;
    • /usr/local/hadoop-3.3.0/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.0.jar: Hadoop 自带的 MapReduce 程序所在 Jar 包的完整路径;
    • wordcount: 标识使用的是单词计数的 MapReduce 程序，因为 hadoop-mapreduce-examples-3.3.0.jar 文件中存在多个MapReduce程序。
  • 参数说明如下。
    • /home/hadoop/input/data.input: 输入 data.input 文件所在的本地完整路径名称;
    • /home/hadoop/output: 本地结果数据输出目录，不能手动创建，需要Hadoop程序创建。
  • 执行成功结果： 
2021-06-02 01:08:40,374 INFO mapreduce.Job: map 100% reduce 100% 2021-06-02 01:08:40,375 INFO mapreduce.Job: Job job_local_0001 completed successfully
  • 查看文件结果

查看/home/hadoop/output文件夹和生成文件如下:

$ cd /home/hadoop/output $ /home/hadoop/output# ll total 20 drwxr-xr-x 2 root root 4096 Jun 2 01:08 ./ drwxr-xr-x 4 root root 4096 Jun 2 01:08 ../ -rw-r--r-- 1 root root 76 Jun 2 01:08 part-r-00000 -rw-r--r-- 1 root root 12 Jun 2 01:08 .part-r-00000.crc -rw-r--r-- 1 root root 0 Jun 2 01:08 _SUCCESS -rw-r--r-- 1 root root 8 Jun 2 01:08 ._SUCCESS.crc

查看统计数据文件part-r-00000:

$ cat part-r-00000 # 统计单词个数结果 flume 2 hadoop 3 hbase 1 hive 2 kafka 1 mapreduce 1 spark 2 sqoop 1 storm 2


四 伪集群模式安装

4.1 伪集群文件配置

对于 Hadoop 伪集群模式的配置，除了需要配置hadoop-env.sh 文件外，还需要配置以下4个文件:core site.xml、hdfs-site.xml、mapred-site.xml 和 yarn-site.xml，每个文件与hadoop-env.sh 文件在同一个目录下，各文件的作用如下:

4.1.1 core-site.xml

  • core-site.xml 配置文件如下:
 
   
   
   
    
    
      hadoop.tmp.dir 
     
    
      /usr/local/hadoop-3.3.0/tmp 
     
    
      Abase for other temporary directories. 
     
    
    
    
      fs.defaultFS 
     
    
      hdfs://hadoop1:9000

注意: 其中的 hadoop1 为配置的主机名

4.1.2 hdfs-site.xml

配置NameNode和 DataNode存放文件的具体路径，配置副本的数量。

  • hdfs-site.xml 配置文件如下:
 
   
   
   
    
    
      dfs.replication 
     
    
      1 
     
    
    
    
      dfs.namenode.name.dir 
     
    
      /usr/local/hadoop-3.3.0/tmp/dfs/name 
     
    
    
    
      dfs.datanode.data.dir 
     
    
      /usr/local/hadoop-3.3.0/tmp/dfs/data

注意: 伪分布式只有一个节点，所以 dfs.replication 需要配置成 1 ,在集群模式下至少配置3个节点; 此外还配置了datanode 和 namenode 的节点位置。

4.1.3 mapred-site.xml

在之前版本的 Hadoop 中是没有此文件的，需要将 mapred-site.xml.template 重命名:配置 MapReduce 作业是提交到 YARN 集群还是使用本地作业执行器在本地执行,其中需要配置Hadoop的环境配置: HADOOP_HOME。

  • mapred-site.xml 配置文件如下:
 
   
   
   
    
    
      mapreduce.framework.name 
     
    
      yarn 
     
    
    
    
      yarn.app.mapreduce.am.env 
     
    
      HADOOP_MAPRED_HOME=${HADOOP_HOME} 
     
    
    
    
      mapreduce.map.env 
     
    
      HADOOP_MAPRED_HOME=${HADOOP_HOME} 
     
    
    
    
      mapreduce.reduce.env 
     
    
      HADOOP_MAPRED_HOME=${HADOOP_HOME}

4.1.4 yarn-site.xml

配置 ResourceManager 所在节点的主机名;配置辅助服务列表，这些服务由 NodeManager 执行。

  • yarn-site.xml 配置文件如下:
 
   
   
    
    
    
      yarn.resourcemanager.hostname 
     
    
      hadoop1 
     
    
    
    
      yarn.nodemanager.aux-services 
     
    
      mapreduce_shuffle

4.2 格式化NameNode和启动Hadoop

4.2.1 赋予脚本root账户运行权限

脚本目录: /usr/local/hadoop-3.3.0/sbin,需要赋予脚本root账户运行权限的有：start-dfs.sh、start-yarn.sh、stop-dfs.sh 和 stop-yarn.sh。

  • (1)start-dfs.sh 和 stop-dfs.sh 分别为启动和停止 HDFS 进程节点, 脚本顶部需要添加root运行权限如下:
HDFS_DATANODE_USER=root HADOOP_SECURE_DN_USER=hdfs HDFS_NAMENODE_USER=root HDFS_SECONDARYNAMENODE_USER=root
  • (2)start-yarn.ss 和 stop-yarn.sh 分别为启动和停止 yarn 进程节点, 脚本顶部需要添加root运行权限如下:
YARN_RESOURCEMANAGER_USER=root HADOOP_SECURE_DN_USER=yarn YARN_NODEMANAGER_USER=root

4.2.2 格式化NameNode

  • 格式化 NameNode 执行命令:
$ hdfs namenode -format

当输出结果中有如下信息是，说明格式化 NameNode 成功:

INFO common.Storage: Storage directory /usr/local/hadoop-3.3.0/tmp/dfs/name has been successfully formatted.

4.2.3 启动Hadoop

  • (1)启动HDFS

在命令行执行脚本启动HDFS：

$ sh start-dfs.sh

jps 查看进程

$ jps 13800 Jps 9489 NameNode 9961 SecondaryNameNode 9707 DataNode
  • (2)启动YARN

在命令行执行脚本启动YARN：

$ sh start-yarn.sh

jps 查看进程

$ jps 5152 ResourceManager 5525 NodeManager 13821 Jps

4.2.4 查看Hadoop节点信息

验证 Hadoop 伪集群模式启动成功的两种方式: 一种在浏览器通过Hadoop暴露的接口查看NameNode的状态是否为”活动状态”, 另一种是执行 MapReduce 程序来验证是否安装并启动成功。

在浏览器中输入地址进行访问:

http://192.168.254.130:9870/

登录界面如图所示，节点为”活跃状态”:

Hadoop节点状态

4.3 运行MapReduce程序验证环境搭建

运行MapReduce程序验证环境搭建步骤分为以下四步:

  • 在HDFS上创建输入文件目录
  • 上传数据文件到HDFS中
  • 执行MapReduce程序

4.3.1 在HDFS上创建输入文件目录

在 HDFS 上新建 /data/input目录，具体操作如下:

$ hadoop fs -mkdir /data $ hadoop fs -mkdir /data/input $ hadoop fs -ls /data/ Found 1 items drwxr-xr-x - root supergroup 0 2021-06-05 11:11 /data/input

4.3.2 上传数据文件到HDFS中

上传本地模式下的数据文件 “data.input” 到HDFS中目录: /data/input

$ hadoop fs -put /home/hadoop/input/data.input /data/input $ hadoop fs -ls /data/input Found 1 items -rw-r--r-- 1 root supergroup 101 2021-06-05 11:11 /data/input/data.input # 查看文件中的数据 $ hadoop fs -cat /data/input/data.input hadoop mapreduce hive flume hbase spark storm flume sqoop hadoop hive kafka spark hadoop storm

4.3.3 执行MapReduce程序

  • 运行Hadoop自带的 wordcount 计数程序，具体命令如下:
$ hadoop jar hadoop-mapreduce-examples-3.3.0.jar wordcount /data/input/data.input /data/output
  • 查看执行结果
    在 wordcount 计数程序执行过程中，会自动创建 /data/output目录，先查看 HDFS 上创建的 /data/output目录，命令如下:

$ hadoop fs -ls /data/output Found 2 items -rw-r--r-- 1 root supergroup 0 2021-06-05 11:19 /data/output/_SUCCESS -rw-r--r-- 1 root supergroup 76 2021-06-05 11:19 /data/output/part-r-00000 $ hadoop fs -cat /data/output/part-r-00000 flume 2 hadoop 3 hbase 1 hive 2 kafka 1 mapreduce 1 spark 2 sqoop 1 storm 2

可以从 part-r-00000 文件中正确的输出了每个单词以及该单词在测试数据文件中的数量，说明 Hadoop 的伪集群模式正确的将 MapReduce 的结果输出到了 HDFS 中。


END

本文主要是为了后续部署 hadoop 等大数据组件的网络策略处理，其中最主要的设置网络静态ip、主机名修改、设置免密登录等操作，下一篇将介绍 Hadoop的集群模式安装，欢迎关注微信公众号: 进击的梦清 ; 我是一名在互联网浪潮下的打工人，希望和你共同学习进步，秉承信念: 你知道的越多，不知道的就越多。

参考文档:

  • [1] RongT.博客园: https://www.cnblogs.com/tanrong/p/10645467.html ,2019-04-02.
  • [2] Hadoop官网: https://hadoop.apache.org/
  • [3] 冰河.海量数据处理与大数据技术实站 [M].第1版.北京: 北京大学出版社,2020-09
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请联系我们举报，一经查实，本站将立刻删除。

发布者：全栈程序员-站长，转载请注明出处：https://javaforall.net/224717.html原文链接：https://javaforall.net

赞 (0)
0 0

关于作者

全栈程序员-站长的头像

全栈程序员-站长

133.5K 文章
3 粉丝
本网站汇聚当前互联网主流语音，持续更新，欢迎关注公众号“全栈程序员社区”
上一篇 2026年3月17日 上午11:17
下一篇 2026年3月17日 上午11:18


相关推荐

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号