02_Hadoop集群环境的建立

02_Hadoop集群环境的建立

上一篇文章中,已经明确的搭建了Hadoop的四台虚拟环境。

在这里我将ssh工具有xshell换成了SecureCRT,使用方式和XShell,操作是一样的。

启动所有的虚拟机器。由于是克隆产生的,所以,所有的机器环境都是相同的。

启动所有的虚拟机,并启动SecureCRT,建立Session会话。为了便于操作,将四个会话的窗口进行如图的排列

02_Hadoop集群环境的建立

为了保证机器间的正常通信,关闭所有的防火墙,并保证防火墙永久关闭:

 systemctl stop firewalld
systemctl disable firewalld

启动hadoop

 ① 配置hadoop

 进入hadoop目录

cd /usr/local/hadoop/etc/hadoop

目录如下:

02_Hadoop集群环境的建立

其中的core-site.xml文件,就是我们配置主机和从机的核心配置文件,此配置针对所有的hadoop机器

vim core-site.xml 打开配置文件,由于master和slaer之间是通过网络进行连接的,因此他们之间需要特定的协议,协议就在此文件中进行配置,进行如下配置

在所有的机器的该配置文件中做如下配置:

<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://master:9000</value> </property> <--文件存储目录--> <property> <name>hadoop.tmp.dir</name> <value>/var/hadoop</value> </property> </configuration>

02_Hadoop集群环境的建立

在master上配置hdfs-stie.xml

<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://master:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/var/hadoop</value> </property> </configuration>

针对四台机器,master将作为主机,用来存储namenode,也就是至存储文件名称,其余的三台作为datanode,也就是真正数据存储在slaer上

02_Hadoop集群环境的建立

接下来分别启动master和slaer

1、格式化namenode

hdfs namenode -foramt

2 、首先启动master

在master上单独执行命令:

hadoop-daemon.sh start namenode

02_Hadoop集群环境的建立

当输出蓝色框内的内容时,namenode启动成功

3 、以此启动3台slave

hadoop-daemon.sh start datanode

4、停止namenode

hadoop-daemon.sh stop namenode

5、停止datanode

hadoop-daemon.sh stop namenode









版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/111292.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • Linux 下curl命令下Http 的get or post请求

    Linux 下curl命令下Http 的get or post请求

    2021年7月16日
    75
  • C语言中assert函数的用法[通俗易懂]

    断言(ASSERT)的用法  我一直以为assert仅仅是个报错函数,事实上,它居然是个宏,并且作用并非“报错”。  在经过对其进行一定了解之后,对其作用及用法有了一定的了解,assert()的用法像是一种“契约式编程”,在我的理解中,其表达的意思就是,程序在我的假设条件下,能够正常良好的运作,其实就相当于一个if语句:if(假设成立){程序正常运行;}e

    2022年4月12日
    40
  • 实例方法,类方法和静态方法的区别_python中类的所有实例方法

    实例方法,类方法和静态方法的区别_python中类的所有实例方法实例方法第一个参数是"self",表示实例对象,通过它传递实例的属性和方法。只能由实例调用类方法使用装饰器@classmethod,第一个参数可以是"cls&quo

    2022年8月2日
    5
  • 开源 网管 工具_网管软件

    开源 网管 工具_网管软件Nagios:最大的亮点是轻量灵活,且报警机制很强,如果你只是需要监控服务器/服务是否在运行,Nagios以前只是从目标主机收集信息,,并且有很强大的发送报警信息的功能。适合监视大量服务器上面的大批服务是否正常,重点并不在图形化的监控,其集成的很多功能例如报警,都是cacti没有或者很弱的.cacti主要用途还是用来收集历史数据和画图,所以界面比nagios漂亮很多cact

    2022年9月26日
    0
  • 基于麦克风阵列的现有声源定位技术有_阵列原理

    基于麦克风阵列的现有声源定位技术有_阵列原理专利名称:使用麦克风阵列对声源定位的方法技术领域:本发明涉及声源的定位,更具体地讲,涉及一种使用麦克风(MIC)阵列来对声源定位的方法。背景技术:阵列信号处理已经广泛应用于通信、雷达、声纳、医学和航天航空等诸多领域。近年来,随着反恐战的开展,各国已经研制了各种探测爆炸点或枪炮射击点的位置的设备。在实际应用中,由于视觉定位往往不易实现,从而发展了一些声学定位的系统,例如,美国的回力棒系统、以…

    2022年9月22日
    0
  • SpringBoot防止大量请求攻击

    SpringBoot防止大量请求攻击我们使用Jmeter测试同学的网站时,就会出现网站无法访问,403等错误。Anerroroccurred.Sorry,thepageyouarelookingforiscurrentlyunavailable.Pleasetryagainlater.Ifyouarethesystemadministratorofthisresourcethenyoushouldchecktheerrorlogfordetails.Faithfull

    2022年7月20日
    18

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号