Hadoop伪分布式安装_伪分布式安装

Hadoop伪分布式安装_伪分布式安装Hadoop 伪分布式安装部署

大家好,又见面了,我是你们的朋友全栈君。

1. jdk安装

     解压:   tar -zxvf jdk-7u79-linux-x64.tar.gz -C /working/source
     添加到系统环境变量 :~/.bash_profile
复制代码
export JAVA_HOME="/working/source/jdk1.7.0_79"
CLASSPATH=$CLASSPATH.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin
复制代码

使得环境变量生效: source ~/.bash_profile 验证java是否配置成功: java -v 详细请参考 blog.csdn.net/u010961759/…

2. 安装ssh

  sudo yum/apt-get install ssh
  ssh-keygen -t rsa
  cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
复制代码

3. 下载并解压hadoop

  下载:直接去cdh网站下载 wget http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0.tar.gz
   解压: tar -zxvf hadoop-2.6.0-cdh5.7.0.tar.gz -C /working/source
复制代码

配置

hadoop.evn.sh

export JAVA_HOME=/working/source/jdk1.8.0_151  //配置java环境
复制代码

/etc/host

在 /etc/host 加上
127.0.0.1   bigdata-msenior01.kfk.com
复制代码

core-site.xml

先执行 mkdir /data/tmp 创建存储路径
然后修改core-site
<configuration>  
   <!--配置域名和端口-->
     <property>
        <name>fs.defaultFS</name>
        <value>hdfs://bigdata-msenior01.kfk.com:8020</value>
    </property>
     <property>
   <!--配置存储路径-->
         <name>hadoop.tmp.dir</name>
         <value>/working/source/hadoop-2.6.0-cdh5.7.0/data/tmp</value>
    </property>
</configuration>
复制代码

hdfs-site.xml

  <property>
              <name>dfs.replication</name>
              <value>1</value>
 </property>
复制代码

slaves

5 启动hdfs

   格式化文件系统(仅第一次执行即可,不要重复执行)hdfs(hadoop) namenode -format
   启动:hdfs sbin/start-dfs.sh
复制代码

检查是否启动成功

jps 
    DataNode
    SecondaryNameNode
    NameNode
复制代码

浏览器方式方式 bigdata-msenior01.kfk.com:50070

6 停止hdfs

sbin/stop-dfs.sh
复制代码

Hadoop shell 的基本使用

hdfs dfs hdfs fs

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/107146.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • thinkphp访问路径_thinkphp laravel

    thinkphp访问路径_thinkphp laravel下载地址:http://code.google.com/p/kindeditor/downloads/list基本配置:KE.show({id:’your_editor_id’,width:’700px’,height:’400px’});首先引入kindeditor.js文件;用show方法传入一个数组,里面是你的配置信息,然后

    2022年10月12日
    4
  • informix数据库建表语句_sqlserver创建数据库

    informix数据库建表语句_sqlserver创建数据库[b]1、安装[/b]a:先到IBM官网下载数据库(企业版本的12.10)b:执行id_stall程序进行安装c:默认创建实例ol_informix1210[color=darkred]d:默认创建的实例是包含了sbspace表空间的,新建的实例默认是不包含表空间的如果需要处理大对象数据(clob)的话,则需要通过onspa…

    2022年8月30日
    6
  • vscode注释快捷键失效_qt注释快捷键

    vscode注释快捷键失效_qt注释快捷键注释有两种,如果是单行注释,可以使用快捷键【ctrl】+【/】来注释。这样就能单行注释代码,样式为://Wearedevelopers注释错了想要取消,再按一遍即可。如果是多行注释(块注释),那么快捷键为【Alt】+【Shift】+【A】样式为:/*Wearedevelopers*/同样的再按一遍即可取消。你也可以选择代码,使用上方菜单的【编辑】来手动注释代码。

    2022年8月15日
    9
  • Java Interface用法

    Java Interface用法Javainterface有多种用法,最常见的就是通过interface传递数据第一种publicinterfaceIData{voidvalue(Stringstr);}publicclassClassA{publicvoidsendData(IDataidata){idata.value(“ThisisClassA’valu

    2022年7月16日
    21
  • 免费mac激活码2021【2021免费激活】

    (免费mac激活码2021)本文适用于JetBrains家族所有ide,包括IntelliJidea,phpstorm,webstorm,pycharm,datagrip等。https://javaforall.net/100143.htmlIntelliJ2021最新激活注册码,破解教程可免费永久激活,亲测有效,上面是详细链接哦~M…

    2022年3月20日
    54
  • MAC OS X 系统怎么样?

    朝鲜的IT应用状况并不为外界所熟知,过去媒体纷纷报道,朝鲜已故领导人金正日酷爱苹果电子产品,而最近一份调查报告显示,在朝鲜个人电脑操作系统市场,苹果MACOSX系统位居第一名,遥遥领先微软

    2021年12月23日
    44

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号