02_Hadoop集群环境的建立

02_Hadoop集群环境的建立

上一篇文章中,已经明确的搭建了Hadoop的四台虚拟环境。

在这里我将ssh工具有xshell换成了SecureCRT,使用方式和XShell,操作是一样的。

启动所有的虚拟机器。由于是克隆产生的,所以,所有的机器环境都是相同的。

启动所有的虚拟机,并启动SecureCRT,建立Session会话。为了便于操作,将四个会话的窗口进行如图的排列

02_Hadoop集群环境的建立

为了保证机器间的正常通信,关闭所有的防火墙,并保证防火墙永久关闭:

 systemctl stop firewalld
systemctl disable firewalld

启动hadoop

 ① 配置hadoop

 进入hadoop目录

cd /usr/local/hadoop/etc/hadoop

目录如下:

02_Hadoop集群环境的建立

其中的core-site.xml文件,就是我们配置主机和从机的核心配置文件,此配置针对所有的hadoop机器

vim core-site.xml 打开配置文件,由于master和slaer之间是通过网络进行连接的,因此他们之间需要特定的协议,协议就在此文件中进行配置,进行如下配置

在所有的机器的该配置文件中做如下配置:

<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://master:9000</value> </property> <--文件存储目录--> <property> <name>hadoop.tmp.dir</name> <value>/var/hadoop</value> </property> </configuration>

02_Hadoop集群环境的建立

在master上配置hdfs-stie.xml

<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://master:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/var/hadoop</value> </property> </configuration>

针对四台机器,master将作为主机,用来存储namenode,也就是至存储文件名称,其余的三台作为datanode,也就是真正数据存储在slaer上

02_Hadoop集群环境的建立

接下来分别启动master和slaer

1、格式化namenode

hdfs namenode -foramt

2 、首先启动master

在master上单独执行命令:

hadoop-daemon.sh start namenode

02_Hadoop集群环境的建立

当输出蓝色框内的内容时,namenode启动成功

3 、以此启动3台slave

hadoop-daemon.sh start datanode

4、停止namenode

hadoop-daemon.sh stop namenode

5、停止datanode

hadoop-daemon.sh stop namenode









版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/111292.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • deviceiocontrol true怎么解决_分段函数

    deviceiocontrol true怎么解决_分段函数前言:最近需要对Windows中的设备进行编程操作,其中涉及到非常重要的函数DeviceIoControl,在使用的时候也比较的复杂,国内这一块中文资料比较少,在学习之余顺便将其翻译出来,以供参考,如有错误,欢迎指正。lcb0281@163点comMSDN原文地址:DeviceIoControlfunctionDeviceIoControl将控制代码直接发送到指定的设备驱动…

    2025年8月20日
    5
  • nginx反向代理和正向代理的区别是什么_nginx负载均衡的三种方式

    nginx反向代理和正向代理的区别是什么_nginx负载均衡的三种方式nginx反向代理和正向代理的区别是什么?下面本篇文章就来给大家介绍一下,希望对你们有所帮助。什么是正向代理?正向代理是一个位于客户端和原始服务器(originserver)之间的服务器,为了从原始服务器取得内容,客户端向代理发送一个请求并指定目标(原始服务器),然后代理向原始服务器转交请求并将获得的内容返回给客户端。客户端才能使用正向代理。什么是反向代理?反向代理(ReverseProxy)方式是指以代理服务器来接受internet上的连接请求,然后将请求转发给内部网络上的服.

    2025年8月10日
    3
  • 新库上线 | CnOpenData中国工业企业绿色专利及引用被引用数据简介[通俗易懂]

    新库上线 | CnOpenData中国工业企业绿色专利及引用被引用数据简介[通俗易懂]中国工业企业绿色专利及引用被引用数据简介  改革开放以来,中国工业化迅速发展,但高增长的背后却隐藏着资源浪费、环境恶化等矛盾,在这些环境问题愈发突出的背景下,我国绿色发展新理念开始深入工业发展,近年来,此项工作已取得较好成绩:在工业和信息化部于2020年公布的我国2016-2019年工业绿色发展成绩单中,规模以上企业单位工业增加值能耗累计下降超过15%,相当于节能4.8亿吨标准煤,节约能源成本约4000亿元,同期,单位工业增加值二氧化碳排放量累计下降18%。经济效益和环境效益的双赢,是现代化工业发展的目标

    2022年9月28日
    2
  • Flash WebGame 开发经验心得和PureMVC框架细说[通俗易懂]

    Flash WebGame 开发经验心得和PureMVC框架细说[通俗易懂]→前端的主程序架构和模块划分与人手和人事分工是紧密联系在一起的,而这些很大程度上又是由项目本身决定的。纵观现在国内绝大多数FLASHWEBGAME的规模和难度,我觉得前端AS人员大概需要2-7个之间,主程序有效代码一般不会超过10W行。在这种情况下,人事分工应当以功能和模块进行划分,尽量避免多人维护同一份代码,每个人各司其职,减少维护和协作的成本。这种模式非常适合人手不够,制度不健全,而且追…

    2022年5月2日
    57
  • 在windows10机器上安装部署人脸识别/安全帽识别项目笔记

    在windows10机器上安装部署人脸识别/安全帽识别项目笔记在windows7机器上安装部署人脸识别/安全帽识别项目笔记1.Anaconda的安装配置从官网https://www.anaconda.com/download/下载Anaconda的安装程序,在该页面选择你电脑所对应的系统(Windows、macOSorLinux)以及操作系统位数(64位or32位)。至于是Python的版本是3.6还是2.7,这里推荐你使用Python3.6…

    2022年5月19日
    36
  • 浙江python课程_浙江八年级新增Python编程课程!是谁将少儿编程推上风口?

    浙江python课程_浙江八年级新增Python编程课程!是谁将少儿编程推上风口?浙江消息,今年9月份开始的新学期,三到九年级信息技术课将同步替换新器材。其中,八年级将新增Python课程内容。新高一信息技术编程语言由VB替换为Python,大数据、人工智能、程序设计与算法按照教材规划五六年级开始接触。不得不说,在“少儿编程”这条路上,浙江省算是“死磕”到底了。早在2014年,浙江就发布了《浙江省深化高校考试招生制度综合改革试点方案》,方案提到:把信息技术(含编程)正式纳入高考…

    2022年5月17日
    47

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号