Hadoop伪分布式安装_伪分布式安装

Hadoop伪分布式安装_伪分布式安装Hadoop 伪分布式安装部署

大家好,又见面了,我是你们的朋友全栈君。

1. jdk安装

     解压:   tar -zxvf jdk-7u79-linux-x64.tar.gz -C /working/source
     添加到系统环境变量 :~/.bash_profile
复制代码
export JAVA_HOME="/working/source/jdk1.7.0_79"
CLASSPATH=$CLASSPATH.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin
复制代码

使得环境变量生效: source ~/.bash_profile 验证java是否配置成功: java -v 详细请参考 blog.csdn.net/u010961759/…

2. 安装ssh

  sudo yum/apt-get install ssh
  ssh-keygen -t rsa
  cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
复制代码

3. 下载并解压hadoop

  下载:直接去cdh网站下载 wget http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0.tar.gz
   解压: tar -zxvf hadoop-2.6.0-cdh5.7.0.tar.gz -C /working/source
复制代码

配置

hadoop.evn.sh

export JAVA_HOME=/working/source/jdk1.8.0_151  //配置java环境
复制代码

/etc/host

在 /etc/host 加上
127.0.0.1   bigdata-msenior01.kfk.com
复制代码

core-site.xml

先执行 mkdir /data/tmp 创建存储路径
然后修改core-site
<configuration>  
   <!--配置域名和端口-->
     <property>
        <name>fs.defaultFS</name>
        <value>hdfs://bigdata-msenior01.kfk.com:8020</value>
    </property>
     <property>
   <!--配置存储路径-->
         <name>hadoop.tmp.dir</name>
         <value>/working/source/hadoop-2.6.0-cdh5.7.0/data/tmp</value>
    </property>
</configuration>
复制代码

hdfs-site.xml

  <property>
              <name>dfs.replication</name>
              <value>1</value>
 </property>
复制代码

slaves

5 启动hdfs

   格式化文件系统(仅第一次执行即可,不要重复执行)hdfs(hadoop) namenode -format
   启动:hdfs sbin/start-dfs.sh
复制代码

检查是否启动成功

jps 
    DataNode
    SecondaryNameNode
    NameNode
复制代码

浏览器方式方式 bigdata-msenior01.kfk.com:50070

6 停止hdfs

sbin/stop-dfs.sh
复制代码

Hadoop shell 的基本使用

hdfs dfs hdfs fs

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/107146.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • 功能测试用例编写_接口测试用例设计思路

    功能测试用例编写_接口测试用例设计思路编写测试用例HttpRunnerv3.x支持三种测试用例格式pytest,YAML和JSON。官方强烈建议以pytest格式而不是以前的YAML/JSON格式编写和维护测试用例格式关系如下图所示

    2022年7月30日
    8
  • PHP环境搭建单独安装「建议收藏」

    PHP环境搭建单独安装「建议收藏」Php环境的搭建主要内容:1、知识回顾2、几种常见的PHP环境安装方式3、安装php的运行环境4、php运行环境的介绍1.知识回顾1.1动态网站和静态网站web1.0(静态网站):不支

    2022年7月3日
    25
  • 最大子段和

    最大子段和

    2021年7月8日
    111
  • 蓝奏云直链解析api源码_全部免费软件蓝奏云网盘

    蓝奏云直链解析api源码_全部免费软件蓝奏云网盘介绍蓝奏云下载地址解析API模拟蓝奏云真实操作获取下载地址.软件架构1.支持检测文件是否被取消2.支持带密码的文件分享链接但不支持分享的文件夹3.支持生成直链或直接下载4.支持ios应用在线安装获取地址使用说明url:蓝奏云外链链接type:是否直接下载值:downpwd:外链密码(1)内部调用方法include(‘lanzou.clsss.php’);$lz=newlanzou;$re…

    2025年8月19日
    3
  • HTML中设置背景图的两种方式「建议收藏」

    HTML中设置背景图的两种方式「建议收藏」HTML中设置背景图的两种方式1、background  background:url(images/search.png)no-repeattop;2、background-image  background-image:url(images/search.png);  background-repeat:no-repeat;

    2022年5月20日
    50
  • 干货|手把手教你写一个串口调试助手「建议收藏」

    干货|手把手教你写一个串口调试助手「建议收藏」摘要:前段时间发布了一个用QT写的串口调试助手,很多小伙伴在后台留言要源码。其实网上有很多免费开源的用QT的上位机,大家搜一下就能找到,为了大家方便学习QT以及如何写一个上位机,今天推荐一下学习资源,顺带带大家写一个非常简单的串口调试助手。相信很多小伙伴还没有接触过QT,如果想用QT写一个调试助手,首先是会一点C++语法。了解即可,也就是看得懂C++的代码。只要能看懂简单的C+++语法,就能很快的写一个串口调试助手。先推荐两个视频教程,感兴趣可以看看!1、B站Jomse工看完你基本知道串口调试助手

    2022年5月9日
    87

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号