1. 全栈程序员必看首页

hadoop集群搭建（超详细版）「建议收藏」

全栈程序员-站长 • • 未分类 • 阅读 4

hadoop集群搭建（超详细版）「建议收藏」1.准备好需要安装的软件虚拟机VMware12.pro操作系统CentOS6.5远程控制虚拟机的终端SecureCRT8.12.在虚拟机中安装CentOS操作系统安装好虚拟机，图形界面如下图创建新的虚拟机，选择自定义（高级），点击下一步虚拟机硬件兼容性默认，浏览需要安装的CentOS6.5镜像文件自定义用户名和密码（用于登录）设置虚…

大家好，又见面了，我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全系列IDE稳定放心使用

1.准备好需要安装的软件

虚拟机VMware12.pro

hadoop集群搭建（超详细版）「建议收藏」

操作系统CentOS 6.5

hadoop集群搭建（超详细版）「建议收藏」

远程控制虚拟机的终端SecureCRT8.1

hadoop集群搭建（超详细版）「建议收藏」

2.在虚拟机中安装CentOS操作系统

安装好虚拟机，图形界面如下图

hadoop集群搭建（超详细版）「建议收藏」

创建新的虚拟机，选择自定义（高级），点击下一步

hadoop集群搭建（超详细版）「建议收藏」

虚拟机硬件兼容性默认，浏览需要安装的CentOS6.5镜像文件

hadoop集群搭建（超详细版）「建议收藏」

自定义用户名和密码（用于登录）

hadoop集群搭建（超详细版）「建议收藏」

设置虚拟机名称和存储路径

hadoop集群搭建（超详细版）「建议收藏」

处理器设置默认（后面可以修改），内存设为1GB

hadoop集群搭建（超详细版）「建议收藏」

网络类型选择NAT模式

hadoop集群搭建（超详细版）「建议收藏」

选择创建新虚拟磁盘

hadoop集群搭建（超详细版）「建议收藏」

最大磁盘大小设为20GB，然后将虚拟磁盘存储为单个文件

hadoop集群搭建（超详细版）「建议收藏」

将创建好的磁盘文件存储在虚拟机指定目录下

hadoop集群搭建（超详细版）「建议收藏」

虚拟机创建完成

hadoop集群搭建（超详细版）「建议收藏」

3. 虚拟网络配置

编辑虚拟网络设置，选择NAT模式

hadoop集群搭建（超详细版）「建议收藏」

点击NAT设置，查看网络信息（后面设置ip会用到）

hadoop集群搭建（超详细版）「建议收藏」

查看主机ip地址

hadoop集群搭建（超详细版）「建议收藏」

修改网络配置文件，将BOOTPROTO值修改为”static”

hadoop集群搭建（超详细版）「建议收藏」

hadoop集群搭建（超详细版）「建议收藏」

重启网络服务network

hadoop集群搭建（超详细版）「建议收藏」

再次查看主机ip

hadoop集群搭建（超详细版）「建议收藏」

4. 更改主机名称

修改主机名文件（重启永久生效）

hadoop集群搭建（超详细版）「建议收藏」

hadoop集群搭建（超详细版）「建议收藏」

查看主机名hostname（文件修改后没有重启主机名没有生效，可以用hostname临时生效）

hadoop集群搭建（超详细版）「建议收藏」

复制master文件两次，重命名为slave1和slave2，打开虚拟机文件，然后按照同样的方法设置两个节点的ip和主机名

hadoop集群搭建（超详细版）「建议收藏」

hadoop集群搭建（超详细版）「建议收藏」

hadoop集群搭建（超详细版）「建议收藏」

hadoop集群搭建（超详细版）「建议收藏」

5.建立主机名和ip的映射

hadoop集群搭建（超详细版）「建议收藏」

查看是否能ping通

hadoop集群搭建（超详细版）「建议收藏」

6.配置ssh免密码登录

在root用户下输入ssh-keygen -t rsa 一路回车

hadoop集群搭建（超详细版）「建议收藏」

秘钥生成后在~/.ssh/目录下，有两个文件id_rsa(私钥)和id_rsa.pub（公钥），将公钥复制到authorized_keys并赋予authorized_keys600权限

hadoop集群搭建（超详细版）「建议收藏」

同理在slave1和slave2节点上进行相同的操作，然后将公钥复制到master节点上的authoized_keys

hadoop集群搭建（超详细版）「建议收藏」

hadoop集群搭建（超详细版）「建议收藏」

hadoop集群搭建（超详细版）「建议收藏」

将master节点上的authoized_keys远程传输到slave1和slave2的~/.ssh/目录下

hadoop集群搭建（超详细版）「建议收藏」

检查是否免密登录（第一次登录会有提示）

hadoop集群搭建（超详细版）「建议收藏」

7.关闭防火墙

hadoop集群搭建（超详细版）「建议收藏」

关闭selinux（永久）

hadoop集群搭建（超详细版）「建议收藏」

hadoop集群搭建（超详细版）「建议收藏」

8.安装JDK

三个节点安装java并配置java环境变量

hadoop集群搭建（超详细版）「建议收藏」

解压压缩包

hadoop集群搭建（超详细版）「建议收藏」

在/etc/profile文件里添加jdk路径

hadoop集群搭建（超详细版）「建议收藏」

hadoop集群搭建（超详细版）「建议收藏」

执行命令source /etc/profile使配置文件生效，并查看java版本信息

hadoop集群搭建（超详细版）「建议收藏」

9.安装MySQL（主节点）

查询系统已安装的mysql

hadoop集群搭建（超详细版）「建议收藏」

彻底卸载mysql及其所依赖的包

hadoop集群搭建（超详细版）「建议收藏」

解压MySQL包

hadoop集群搭建（超详细版）「建议收藏」

安装MySQL有关的三个rpm包，分别为server、client和devel包

hadoop集群搭建（超详细版）「建议收藏」

启动mysql /usr/bin/mysqld_safe –skip-grant-tables & 并登陆mysql数据库

hadoop集群搭建（超详细版）「建议收藏」

查看mysql中的数据库

hadoop集群搭建（超详细版）「建议收藏」

10.安装SecureCRT

操作比较简单，安装好的图形界面如图

hadoop集群搭建（超详细版）「建议收藏」

连接好之后

hadoop集群搭建（超详细版）「建议收藏」

12.搭建集群

12.1 集群结构

三个结点：一个主节点master两个从节点 内存1GB 磁盘20GB

 

 

Ip地址

主机名

Namenode

Secondary namenode

Datanode

Resource

Manager

NodeManager

192.168.63.16

master

Y

Y

N

Y

N

192.168.63.17

slave1

N

N

Y

N

Y

192.168.63.18

slave2

N

N

Y

N

Y

 

12.2 新建hadoop用户及其用户组

用adduser新建用户并设置密码

hadoop集群搭建（超详细版）「建议收藏」

 

将新建的hadoop用户添加到hadoop用户组

hadoop集群搭建（超详细版）「建议收藏」

前面hadoop指的是用户组名，后一个指的是用户名

hadoop集群搭建（超详细版）「建议收藏」

hadoop集群搭建（超详细版）「建议收藏」

赋予hadoop用户root权限

hadoop集群搭建（超详细版）「建议收藏」

hadoop集群搭建（超详细版）「建议收藏」

12.3 安装hadoop并配置环境变量

由于hadoop集群需要在每一个节点上进行相同的配置，因此先在master节点上配置，然后再复制到其他节点上即可。

将hadoop包放在/usr/目录下并解压

hadoop集群搭建（超详细版）「建议收藏」

hadoop集群搭建（超详细版）「建议收藏」

hadoop集群搭建（超详细版）「建议收藏」

配置环境变量

在/etc/profile文件中添加如下命令

hadoop集群搭建（超详细版）「建议收藏」

hadoop集群搭建（超详细版）「建议收藏」

hadoop集群搭建（超详细版）「建议收藏」

12.4 搭建集群的准备工作

在master节点上创建以下文件夹

/usr/hadoop-2.6.5/dfs/name

/usr/hadoop-2.6.5/dfs/data

/usr/hadoop-2.6.5/temp

hadoop集群搭建（超详细版）「建议收藏」

 

12.5 配置hadoop文件

接下来配置/usr/hadoop-2.6.5/etc//hadoop/目录下的七个文件

slaves    core-site.xml    hdfs-site.xml     mapred-site.xml     yarn-site.xml     hadoop-env.sh   yarn-env.sh

hadoop集群搭建（超详细版）「建议收藏」

配置hadoop-env.sh

hadoop集群搭建（超详细版）「建议收藏」

配置yarn-env.sh

hadoop集群搭建（超详细版）「建议收藏」

配置slaves文件，删除localhost

hadoop集群搭建（超详细版）「建议收藏」

配置core-site.xml

hadoop集群搭建（超详细版）「建议收藏」

 

配置hdfs-site.xml

hadoop集群搭建（超详细版）「建议收藏」

 

配置mapred-site.xml

hadoop集群搭建（超详细版）「建议收藏」

 

配置yarn-site.xml

hadoop集群搭建（超详细版）「建议收藏」

 

将配置好的hadoop文件复制到其他节点上

hadoop集群搭建（超详细版）「建议收藏」

hadoop集群搭建（超详细版）「建议收藏」

12.6 运行hadoop

格式化Namenode

hadoop集群搭建（超详细版）「建议收藏」

source /etc/profile

hadoop集群搭建（超详细版）「建议收藏」

13. 启动集群

[root@master sbin]# ./start-all.sh

 

 

版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请联系我们举报，一经查实，本站将立刻删除。

发布者：全栈程序员-站长，转载请注明出处：https://javaforall.net/181748.html原文链接：https://javaforall.net

赞 (0)
全栈程序员-站长的头像全栈程序员-站长
0 0


相关推荐

  • 时限调度算法给出的调度顺序_时间片轮转法进行进程调度

    时限调度算法给出的调度顺序_时间片轮转法进行进程调度

    时限调度算法给出的调度顺序_时间片轮转法进行进程调度调度算法-时间轮一.背景在我们的业务场景中，经常会使用到定时任务功能，比如定时发送消息，定时执行数据同步，比如之前的文章介绍的分布式事务中的本地事务表方式的解决方案等等，特别是在现在大数据量和分布式服务环境下，定时任务调度越来越频繁，所以对应的定时任务调度的算法实现也越来越完善。在之前的单机环境下，我们可以使用ScheduledThreadPool起一个延迟任务线程池，定时的执行任务，又或者使用spring提供的@Schedule注解配合上cron表达式开启一个定时任务，又或者是lin

    全栈程序员-站长的头像 全栈程序员-站长
    2022年9月28日
    3
  • c语言交通灯简单编程_在第一个交通灯处左转的英文

    c语言交通灯简单编程_在第一个交通灯处左转的英文

    c语言交通灯简单编程_在第一个交通灯处左转的英文内容介绍原文档由会员½ӨӨ发布交通灯控制系统设计1万字32页包括程序代码，系统原理图，Proteus仿真过程摘要本设计是交通信号灯控制系统，随着社会的不断的进步，社会的不断发展。交通也日渐复杂，交通的自动化也不断更新，交通的一些指挥系统光靠人来完成是远远不够的，这就需要设计各种交通指挥自动化系统来完成这些复杂的工作。从而使交通指挥系统更加有秩序，更加安全。至此本人设计了交通信号灯控制系统，来…

    全栈程序员-站长的头像 全栈程序员-站长
    2025年12月5日
    2
  • spring cloud 入门系列：总结[通俗易懂]

    spring cloud 入门系列：总结[通俗易懂]

    从我第一次接触SpringCloud到现在已经有3个多月了，当时是在博客园里面注册了账号，并且看到很多文章都在谈论微服务，因此我就去了解了下，最终决定开始学习SpringCloud。我在一款阅读A

    全栈程序员-站长的头像 全栈程序员-站长
    2022年2月16日
    69
  • <span>编码风格：Mvc模式下SSM环境，代码分层管理</span>

    编码风格：Mvc模式下SSM环境，代码分层管理

    编码风格：Mvc模式下SSM环境，代码分层管理

    全栈程序员-站长的头像 全栈程序员-站长
    2020年11月20日
    177
  • 免费开放api接口_免费API

    免费开放api接口_免费API

    免费开放api接口_免费API抖音短视频无水印解析：http://api.63code.com/douyin2、皮皮虾视频无水印解析：http://api.63code.com/pipixia3、b站视频解析：http://api.63code.com/bili4、必应每日壁纸：http://api.63code.com/bing5、网易云音乐解析：http://api.63code.com/wyy6、垃圾分类查询：http://api.63code.com/garbage7、icp备案查询：http://…

    全栈程序员-站长的头像 全栈程序员-站长
    2022年9月28日
    1
  • 单片机控制步进电机程序c语言正反转停止,单片机控制步进电机正反转程序

    单片机控制步进电机程序c语言正反转停止,单片机控制步进电机正反转程序

    单片机控制步进电机程序c语言正反转停止,单片机控制步进电机正反转程序该楼层疑似违规已被系统折叠隐藏此楼查看此楼#include”reg52.h”#defineuintunsignedint#defineucharunsignedcharsbitk1=P3^4;sbitk2=P3^5;sbitk3=P3^6;voiddelay(uintxms){uinti,j;for(i=xms;i>0;i–)for(j=110;j>0;j-…

    全栈程序员-站长的头像 全栈程序员-站长
    2022年5月31日
    55

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号