1. 全栈程序员必看首页

hadoop集群搭建（超详细版）「建议收藏」

全栈程序员-站长 • • 未分类 • 阅读 0

hadoop集群搭建（超详细版）「建议收藏」1.准备好需要安装的软件虚拟机VMware12.pro操作系统CentOS6.5远程控制虚拟机的终端SecureCRT8.12.在虚拟机中安装CentOS操作系统安装好虚拟机，图形界面如下图创建新的虚拟机，选择自定义（高级），点击下一步虚拟机硬件兼容性默认，浏览需要安装的CentOS6.5镜像文件自定义用户名和密码（用于登录）设置虚…

大家好，又见面了，我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全系列IDE稳定放心使用

1.准备好需要安装的软件

虚拟机VMware12.pro

hadoop集群搭建（超详细版）「建议收藏」

操作系统CentOS 6.5

hadoop集群搭建（超详细版）「建议收藏」

远程控制虚拟机的终端SecureCRT8.1

hadoop集群搭建（超详细版）「建议收藏」

2.在虚拟机中安装CentOS操作系统

安装好虚拟机，图形界面如下图

hadoop集群搭建（超详细版）「建议收藏」

创建新的虚拟机，选择自定义（高级），点击下一步

hadoop集群搭建（超详细版）「建议收藏」

虚拟机硬件兼容性默认，浏览需要安装的CentOS6.5镜像文件

hadoop集群搭建（超详细版）「建议收藏」

自定义用户名和密码（用于登录）

hadoop集群搭建（超详细版）「建议收藏」

设置虚拟机名称和存储路径

hadoop集群搭建（超详细版）「建议收藏」

处理器设置默认（后面可以修改），内存设为1GB

hadoop集群搭建（超详细版）「建议收藏」

网络类型选择NAT模式

hadoop集群搭建（超详细版）「建议收藏」

选择创建新虚拟磁盘

hadoop集群搭建（超详细版）「建议收藏」

最大磁盘大小设为20GB，然后将虚拟磁盘存储为单个文件

hadoop集群搭建（超详细版）「建议收藏」

将创建好的磁盘文件存储在虚拟机指定目录下

hadoop集群搭建（超详细版）「建议收藏」

虚拟机创建完成

hadoop集群搭建（超详细版）「建议收藏」

3. 虚拟网络配置

编辑虚拟网络设置，选择NAT模式

hadoop集群搭建（超详细版）「建议收藏」

点击NAT设置，查看网络信息（后面设置ip会用到）

hadoop集群搭建（超详细版）「建议收藏」

查看主机ip地址

hadoop集群搭建（超详细版）「建议收藏」

修改网络配置文件，将BOOTPROTO值修改为”static”

hadoop集群搭建（超详细版）「建议收藏」

hadoop集群搭建（超详细版）「建议收藏」

重启网络服务network

hadoop集群搭建（超详细版）「建议收藏」

再次查看主机ip

hadoop集群搭建（超详细版）「建议收藏」

4. 更改主机名称

修改主机名文件（重启永久生效）

hadoop集群搭建（超详细版）「建议收藏」

hadoop集群搭建（超详细版）「建议收藏」

查看主机名hostname（文件修改后没有重启主机名没有生效，可以用hostname临时生效）

hadoop集群搭建（超详细版）「建议收藏」

复制master文件两次，重命名为slave1和slave2，打开虚拟机文件，然后按照同样的方法设置两个节点的ip和主机名

hadoop集群搭建（超详细版）「建议收藏」

hadoop集群搭建（超详细版）「建议收藏」

hadoop集群搭建（超详细版）「建议收藏」

hadoop集群搭建（超详细版）「建议收藏」

5.建立主机名和ip的映射

hadoop集群搭建（超详细版）「建议收藏」

查看是否能ping通

hadoop集群搭建（超详细版）「建议收藏」

6.配置ssh免密码登录

在root用户下输入ssh-keygen -t rsa 一路回车

hadoop集群搭建（超详细版）「建议收藏」

秘钥生成后在~/.ssh/目录下，有两个文件id_rsa(私钥)和id_rsa.pub（公钥），将公钥复制到authorized_keys并赋予authorized_keys600权限

hadoop集群搭建（超详细版）「建议收藏」

同理在slave1和slave2节点上进行相同的操作，然后将公钥复制到master节点上的authoized_keys

hadoop集群搭建（超详细版）「建议收藏」

hadoop集群搭建（超详细版）「建议收藏」

hadoop集群搭建（超详细版）「建议收藏」

将master节点上的authoized_keys远程传输到slave1和slave2的~/.ssh/目录下

hadoop集群搭建（超详细版）「建议收藏」

检查是否免密登录（第一次登录会有提示）

hadoop集群搭建（超详细版）「建议收藏」

7.关闭防火墙

hadoop集群搭建（超详细版）「建议收藏」

关闭selinux（永久）

hadoop集群搭建（超详细版）「建议收藏」

hadoop集群搭建（超详细版）「建议收藏」

8.安装JDK

三个节点安装java并配置java环境变量

hadoop集群搭建（超详细版）「建议收藏」

解压压缩包

hadoop集群搭建（超详细版）「建议收藏」

在/etc/profile文件里添加jdk路径

hadoop集群搭建（超详细版）「建议收藏」

hadoop集群搭建（超详细版）「建议收藏」

执行命令source /etc/profile使配置文件生效，并查看java版本信息

hadoop集群搭建（超详细版）「建议收藏」

9.安装MySQL（主节点）

查询系统已安装的mysql

hadoop集群搭建（超详细版）「建议收藏」

彻底卸载mysql及其所依赖的包

hadoop集群搭建（超详细版）「建议收藏」

解压MySQL包

hadoop集群搭建（超详细版）「建议收藏」

安装MySQL有关的三个rpm包，分别为server、client和devel包

hadoop集群搭建（超详细版）「建议收藏」

启动mysql /usr/bin/mysqld_safe –skip-grant-tables & 并登陆mysql数据库

hadoop集群搭建（超详细版）「建议收藏」

查看mysql中的数据库

hadoop集群搭建（超详细版）「建议收藏」

10.安装SecureCRT

操作比较简单，安装好的图形界面如图

hadoop集群搭建（超详细版）「建议收藏」

连接好之后

hadoop集群搭建（超详细版）「建议收藏」

12.搭建集群

12.1 集群结构

三个结点：一个主节点master两个从节点 内存1GB 磁盘20GB

 

 

Ip地址

主机名

Namenode

Secondary namenode

Datanode

Resource

Manager

NodeManager

192.168.63.16

master

Y

Y

N

Y

N

192.168.63.17

slave1

N

N

Y

N

Y

192.168.63.18

slave2

N

N

Y

N

Y

 

12.2 新建hadoop用户及其用户组

用adduser新建用户并设置密码

hadoop集群搭建（超详细版）「建议收藏」

 

将新建的hadoop用户添加到hadoop用户组

hadoop集群搭建（超详细版）「建议收藏」

前面hadoop指的是用户组名，后一个指的是用户名

hadoop集群搭建（超详细版）「建议收藏」

hadoop集群搭建（超详细版）「建议收藏」

赋予hadoop用户root权限

hadoop集群搭建（超详细版）「建议收藏」

hadoop集群搭建（超详细版）「建议收藏」

12.3 安装hadoop并配置环境变量

由于hadoop集群需要在每一个节点上进行相同的配置，因此先在master节点上配置，然后再复制到其他节点上即可。

将hadoop包放在/usr/目录下并解压

hadoop集群搭建（超详细版）「建议收藏」

hadoop集群搭建（超详细版）「建议收藏」

hadoop集群搭建（超详细版）「建议收藏」

配置环境变量

在/etc/profile文件中添加如下命令

hadoop集群搭建（超详细版）「建议收藏」

hadoop集群搭建（超详细版）「建议收藏」

hadoop集群搭建（超详细版）「建议收藏」

12.4 搭建集群的准备工作

在master节点上创建以下文件夹

/usr/hadoop-2.6.5/dfs/name

/usr/hadoop-2.6.5/dfs/data

/usr/hadoop-2.6.5/temp

hadoop集群搭建（超详细版）「建议收藏」

 

12.5 配置hadoop文件

接下来配置/usr/hadoop-2.6.5/etc//hadoop/目录下的七个文件

slaves    core-site.xml    hdfs-site.xml     mapred-site.xml     yarn-site.xml     hadoop-env.sh   yarn-env.sh

hadoop集群搭建（超详细版）「建议收藏」

配置hadoop-env.sh

hadoop集群搭建（超详细版）「建议收藏」

配置yarn-env.sh

hadoop集群搭建（超详细版）「建议收藏」

配置slaves文件，删除localhost

hadoop集群搭建（超详细版）「建议收藏」

配置core-site.xml

hadoop集群搭建（超详细版）「建议收藏」

 

配置hdfs-site.xml

hadoop集群搭建（超详细版）「建议收藏」

 

配置mapred-site.xml

hadoop集群搭建（超详细版）「建议收藏」

 

配置yarn-site.xml

hadoop集群搭建（超详细版）「建议收藏」

 

将配置好的hadoop文件复制到其他节点上

hadoop集群搭建（超详细版）「建议收藏」

hadoop集群搭建（超详细版）「建议收藏」

12.6 运行hadoop

格式化Namenode

hadoop集群搭建（超详细版）「建议收藏」

source /etc/profile

hadoop集群搭建（超详细版）「建议收藏」

13. 启动集群

[root@master sbin]# ./start-all.sh

 

 

版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请联系我们举报，一经查实，本站将立刻删除。

发布者：全栈程序员-站长，转载请注明出处：https://javaforall.net/181748.html原文链接：https://javaforall.net

赞 (0)
全栈程序员-站长的头像全栈程序员-站长
0 0


相关推荐

  • Hmily 源码解析 (三) —— 高效异步任务框架的使用

    Hmily 源码解析 (三) —— 高效异步任务框架的使用

    Hmily 源码解析 (三) —— 高效异步任务框架的使用目录这是hmily的一个核心，hmily之所以高效就是因为hmily把日志的存储维护操作及confirm，cancel的操作通过Disruptor的异步任务框架的方式执行。关于disruptor的原理如下，我没怎么研究过。后我主要分析hmily是如何使用Disruptor这个框架。高性能队列Disruptor的使用剖析Disruptor:为什么会这么快？（一）Ringbuffer的…

    全栈程序员-站长的头像 全栈程序员-站长
    2022年5月21日
    36
  • java自定义注解怎么实现注解(怎么获取自定义注解内的值)

    java自定义注解怎么实现注解(怎么获取自定义注解内的值)

    TL;DRJava注解广泛运用在开发之中，用于增强变量/方法/类等。尝试说明Java自定义注解的使用，以及通过开源项目中的使用进行说明。本文主要记录个人的理解，全文基于JavaSE8。自定义注解自定义注解分为两个部分：注解声明和注解处理逻辑。每个注解可以有多个属性值，同名注解通过声明后可以在对象上使用多个。注解结构定义注解用以下实例说明：12345678910@Repeatable(Lea…

    全栈程序员-站长的头像 全栈程序员-站长
    2022年4月13日
    97
  • MySQL两地三中心方案初步设计

    MySQL两地三中心方案初步设计

    MySQL两地三中心方案初步设计这是学习笔记的第2057篇文章今天梳理了下两地三中心的一些方案设计，算是抛砖引玉吧。整体内容会按照如下的方式来进行设计：首先说下方案的背景，我参考了一些资料（参见…

    全栈程序员-站长的头像 全栈程序员-站长
    2022年6月16日
    47
  • jar包下载网站「建议收藏」

    jar包下载网站「建议收藏」

    jar包下载网站「建议收藏」1.这里可以查询POM信息和JAR包下载https://www.kumapai.com/open/query/?querytype=title&querykey=cglib1.https

    全栈程序员-站长的头像 全栈程序员-站长
    2022年7月4日
    24
  • 基于MQTTnet 3.0.12实现MQTT服务器和客户端「建议收藏」

    基于MQTTnet 3.0.12实现MQTT服务器和客户端「建议收藏」

    基于MQTTnet 3.0.12实现MQTT服务器和客户端「建议收藏」基于MQTTnet3.0.12实现MQTT服务器和客户端概述-可看可不看的废话MQTT是啥MQTTnet正文MQTTServer/Broker实现MQTTServer/Broker创建MQTTServer/Broker发布消息MQTTClient实现MQTTClient创建MQTTClient发布消息MQTTClien订阅消息MQTTClien取消订阅消息概述-可看可不看的废话公司基于制造业客户的数据采集需求，在布局自己的数据中台。现在物联网的概念很火，辣条从业7年来一直号称是“自动化

    全栈程序员-站长的头像 全栈程序员-站长
    2022年6月25日
    31
  • Ubuntu16.04系统查看已安装的python版本，及Python2与Python3之间切换

    Ubuntu16.04系统查看已安装的python版本，及Python2与Python3之间切换

    Ubuntu16.04系统查看已安装的python版本，及Python2与Python3之间切换1.查看已安装版本终端输入如下：python2–version#查看python2安装版本python3–version#查看python3安装版本终端显示如下：系统默认安装2.7.12与3.5.22.使用python3Python3和Python2是互相不兼容，但也不能卸载python2，可以将Python的指向Python3，这样…

    全栈程序员-站长的头像 全栈程序员-站长
    2022年5月28日
    52

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号