Hadoop伪分布式安装_伪分布式安装

Hadoop伪分布式安装_伪分布式安装Hadoop 伪分布式安装部署

大家好,又见面了,我是你们的朋友全栈君。

1. jdk安装

     解压:   tar -zxvf jdk-7u79-linux-x64.tar.gz -C /working/source
     添加到系统环境变量 :~/.bash_profile
复制代码
export JAVA_HOME="/working/source/jdk1.7.0_79"
CLASSPATH=$CLASSPATH.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin
复制代码

使得环境变量生效: source ~/.bash_profile 验证java是否配置成功: java -v 详细请参考 blog.csdn.net/u010961759/…

2. 安装ssh

  sudo yum/apt-get install ssh
  ssh-keygen -t rsa
  cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
复制代码

3. 下载并解压hadoop

  下载:直接去cdh网站下载 wget http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0.tar.gz
   解压: tar -zxvf hadoop-2.6.0-cdh5.7.0.tar.gz -C /working/source
复制代码

配置

hadoop.evn.sh

export JAVA_HOME=/working/source/jdk1.8.0_151  //配置java环境
复制代码

/etc/host

在 /etc/host 加上
127.0.0.1   bigdata-msenior01.kfk.com
复制代码

core-site.xml

先执行 mkdir /data/tmp 创建存储路径
然后修改core-site
<configuration>  
   <!--配置域名和端口-->
     <property>
        <name>fs.defaultFS</name>
        <value>hdfs://bigdata-msenior01.kfk.com:8020</value>
    </property>
     <property>
   <!--配置存储路径-->
         <name>hadoop.tmp.dir</name>
         <value>/working/source/hadoop-2.6.0-cdh5.7.0/data/tmp</value>
    </property>
</configuration>
复制代码

hdfs-site.xml

  <property>
              <name>dfs.replication</name>
              <value>1</value>
 </property>
复制代码

slaves

5 启动hdfs

   格式化文件系统(仅第一次执行即可,不要重复执行)hdfs(hadoop) namenode -format
   启动:hdfs sbin/start-dfs.sh
复制代码

检查是否启动成功

jps 
    DataNode
    SecondaryNameNode
    NameNode
复制代码

浏览器方式方式 bigdata-msenior01.kfk.com:50070

6 停止hdfs

sbin/stop-dfs.sh
复制代码

Hadoop shell 的基本使用

hdfs dfs hdfs fs

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/107146.html原文链接:https://javaforall.net

赞 (0)
全栈程序员-站长的头像全栈程序员-站长

相关推荐

  • TTL转RS232电路–分享原理图和参考资料

    RS232串口经常用到,本文分享下RS232协议方面基本点,并介绍一种简单的串口TTL(3.3V)电平转换为RS232电平的电路,这个电路是经过制板验证过的。使用芯片MAX3232E(tssop16封装),电源用3.3V,电路如下图MAX3232是支持两路uart转成RS232,分享的电路只接了一路,如有需要可以接两路另外上面电路是没有做隔离的,如果要做成隔离式的,可以加上光电开关。…

    2022年4月6日
  • 图解正向代理和反向代理的区别_nginx配置多个正向代理

    图解正向代理和反向代理的区别_nginx配置多个正向代理套用古龙武侠小说套路来说,代理服务技术是一门很古老的技术,是在互联网早期出现就使用的技术。一般实现代理技术的方式就是在服务器上安装代理服务软件,让其成为一个代理服务器,从而实现代理技术。常用的代理技术分为正向代理、反向代理和透明代理。本文就是针对这三种代理来讲解一些基本原理和具体的适用范围,便于大家更深入理解代理服务技术。一、正向代理(ForwardProxy)&nbs…

    2022年8月30日
  • zencart模板修改定制笔记9:如何修改定制某个边框标题[通俗易懂]

    zencart模板修改定制笔记9:如何修改定制某个边框标题[通俗易懂]zencart模板修改定制笔记9:如何修改定制某个边框标题.pdf下载地址:http://vdisk.weibo.com/s/31MWe/1331169427下一篇:zencart模板修改定制笔记10:?.pdf

    2022年7月27日
  • Werkzeug_vuze怎么用

    Werkzeug_vuze怎么用原文链接:http://werkzeug.pocoo.org/docs/tutorial/欢迎来到Werkzeug教程,这里我们将会创建一个仿制TinyURL的应用,将URLs存储到一个redis实例。为了这个应用,我们将会使用的库包括,用于模板的Jinja2、用于数据库层的redis和用于WSGI层的Werkzeug。你可以使用pip安装需要的库:[plai

    2022年10月7日
  • Qt使用多线程的一些心得——1.继承QThread的多线程使用方法

    Qt使用多线程的一些心得——1.继承QThread的多线程使用方法摘要Qt多线程方法1继承QThread1写一个继承于QThread的线程2QThread的几个函数quitexitterminate函数3正确的终止一个线程4如何正确启动一个线程41正确的启动一个全局线程和UI一直存在的线程42如何启动一个局部线程用完即释放的线程继承QThread的一些总结使用QObject实现多线的方法见:http://blog.csdn.net/cz

    2022年5月3日
  • SM4算法原理_sgp4算法

    SM4算法原理_sgp4算法前面的文章介绍了SM4算法的C语言实现,源码可见我的另一篇文章:https://blog.csdn.net/cg129054036/article/details/83012721;这篇文章介绍SM4算法原理,这部分可能会比较枯燥,但数学要求也不是太高。目录1.概述2.参数产生3.轮函数4.密钥扩展5.加密/解密过程1.概述2012年3月,国家密码管理…

    2022年10月5日

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号