Hadoop伪分布式安装_伪分布式安装

Hadoop伪分布式安装_伪分布式安装Hadoop 伪分布式安装部署

大家好,又见面了,我是你们的朋友全栈君。

1. jdk安装

     解压:   tar -zxvf jdk-7u79-linux-x64.tar.gz -C /working/source
     添加到系统环境变量 :~/.bash_profile
复制代码
export JAVA_HOME="/working/source/jdk1.7.0_79"
CLASSPATH=$CLASSPATH.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin
复制代码

使得环境变量生效: source ~/.bash_profile 验证java是否配置成功: java -v 详细请参考 blog.csdn.net/u010961759/…

2. 安装ssh

  sudo yum/apt-get install ssh
  ssh-keygen -t rsa
  cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
复制代码

3. 下载并解压hadoop

  下载:直接去cdh网站下载 wget http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0.tar.gz
   解压: tar -zxvf hadoop-2.6.0-cdh5.7.0.tar.gz -C /working/source
复制代码

配置

hadoop.evn.sh

export JAVA_HOME=/working/source/jdk1.8.0_151  //配置java环境
复制代码

/etc/host

在 /etc/host 加上
127.0.0.1   bigdata-msenior01.kfk.com
复制代码

core-site.xml

先执行 mkdir /data/tmp 创建存储路径
然后修改core-site
<configuration>  
   <!--配置域名和端口-->
     <property>
        <name>fs.defaultFS</name>
        <value>hdfs://bigdata-msenior01.kfk.com:8020</value>
    </property>
     <property>
   <!--配置存储路径-->
         <name>hadoop.tmp.dir</name>
         <value>/working/source/hadoop-2.6.0-cdh5.7.0/data/tmp</value>
    </property>
</configuration>
复制代码

hdfs-site.xml

  <property>
              <name>dfs.replication</name>
              <value>1</value>
 </property>
复制代码

slaves

5 启动hdfs

   格式化文件系统(仅第一次执行即可,不要重复执行)hdfs(hadoop) namenode -format
   启动:hdfs sbin/start-dfs.sh
复制代码

检查是否启动成功

jps 
    DataNode
    SecondaryNameNode
    NameNode
复制代码

浏览器方式方式 bigdata-msenior01.kfk.com:50070

6 停止hdfs

sbin/stop-dfs.sh
复制代码

Hadoop shell 的基本使用

hdfs dfs hdfs fs

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/107146.html原文链接:https://javaforall.net

(0)
上一篇 2022年4月21日 上午7:40
下一篇 2022年4月21日 上午7:40


相关推荐

  • Unity插件——Odin使用心得(一)「建议收藏」

    Unity插件——Odin使用心得(一)「建议收藏」声明:本文章为作者对Odin插件常见功能的学习笔记,仅用于学习用途.插件在活动打折时购买,本人不提供插件下载链接.系列文章目录Unity插件——Odin使用心得(一)Unity插件——Odin使用心得(一)系列文章目录一.开发环境二.使用前准备三.常用功能讲解1.命名空间2.AssetsOnly\SceneObjectsOnly:引用限制为预制体\场景物体3.Delayer:延迟赋值4.DetailedInfoBox:信息提示–标题/内容5.EnableGUI:激活GUI6.GUIColo.

    2022年7月21日
    17
  • unique的区别_list groupby

    unique的区别_list groupby数据库中根据你的查询条件只会返回唯一结果,就可以用uniqueResult这个方法!否则就用list();其返回类型为Object uniqueResult()方法通常是在业务方法查询语句中用到的,比如(UsersRoles)getSession().createQuery(“selecturfromUsersRolesurwhereur.role.id=?andur.

    2025年10月18日
    5
  • eXtremeDB内存实时数据库

    eXtremeDB内存实时数据库这是一款实时和嵌入式软件 用来管理持续增长的复杂数据 来支持高级应用的特性 性能和可靠性 更短的产品开发周期等需求 驱使开发者在他们的设计中 考虑采用经验证的 成熟的商业数据库系统组件来 来满足应用层的这些需求 McObject 公司的 eXtremeDB 嵌入式数据库系列产品是将高性能 稳定性和简单易用性等特性同时融入了工业基的数据库引擎 了解 eXtremeDB 产品系列或 eXtreme

    2025年8月23日
    5
  • CRC32 Hash PK Murmur Hash「建议收藏」

    CRC32 Hash PK Murmur Hash「建议收藏」硬件指令实现的CRC32运算在多款主流CPU上性能超越Murmurhash,碰撞性能基本一致,多数场景可以使用CRC32硬件指令优化HASH算法提升性能

    2022年10月10日
    6
  • java数组初始化 new_java 数组初始化

    java数组初始化 new_java 数组初始化一维数组 1 int a 声明 没有初始化 2 int a newint 5 初始化为默认值 int 型为 03 int a 1 2 3 4 5 初始化为给定值 4 int a newint 1 2 3 4 5 同 3 int a newint 5 1 2 3 4 5 错误 如果提供了数组初始化

    2026年3月19日
    2
  • STM32F103笔记(一)[通俗易懂]

    STM32F103笔记(一)[通俗易懂]STM32的概述STM32的简述stm32系列的命名规律STM32F1系列芯片介绍关于查找资料-如果查找IO口是否独立,可查看《精英版IO引脚分配表》如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML图表FLo…

    2022年10月10日
    3

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号