1. jdk安装

     解压：   tar -zxvf jdk-7u79-linux-x64.tar.gz -C /working/source
     添加到系统环境变量 :~/.bash_profile
复制代码

export JAVA_HOME="/working/source/jdk1.7.0_79"
CLASSPATH=$CLASSPATH.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin
复制代码

使得环境变量生效: source ~/.bash_profile 验证java是否配置成功: java -v 详细请参考 blog.csdn.net/u010961759/…

2. 安装ssh

  sudo yum/apt-get install ssh
  ssh-keygen -t rsa
  cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
复制代码

3. 下载并解压hadoop

  下载：直接去cdh网站下载 wget http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0.tar.gz
   解压: tar -zxvf hadoop-2.6.0-cdh5.7.0.tar.gz -C /working/source
复制代码

配置

hadoop.evn.sh

export JAVA_HOME=/working/source/jdk1.8.0_151  //配置java环境
复制代码

/etc/host

在 /etc/host 加上
127.0.0.1   bigdata-msenior01.kfk.com
复制代码

core-site.xml

先执行 mkdir /data/tmp 创建存储路径
然后修改core-site
<configuration>  
   <!--配置域名和端口-->
     <property>
        <name>fs.defaultFS</name>
        <value>hdfs://bigdata-msenior01.kfk.com:8020</value>
    </property>
     <property>
   <!--配置存储路径-->
         <name>hadoop.tmp.dir</name>
         <value>/working/source/hadoop-2.6.0-cdh5.7.0/data/tmp</value>
    </property>
</configuration>
复制代码

hdfs-site.xml

  <property>
              <name>dfs.replication</name>
              <value>1</value>
 </property>
复制代码

slaves

5 启动hdfs

   格式化文件系统（仅第一次执行即可，不要重复执行）hdfs(hadoop) namenode -format
   启动:hdfs sbin/start-dfs.sh
复制代码

检查是否启动成功

jps 
    DataNode
    SecondaryNameNode
    NameNode
复制代码

浏览器方式方式 bigdata-msenior01.kfk.com:50070

6 停止hdfs

sbin/stop-dfs.sh
复制代码

Hadoop shell 的基本使用

hdfs dfs hdfs fs

发布者：全栈程序员-站长，转载请注明出处：https://javaforall.net/107146.html原文链接：https://javaforall.net

Hadoop伪分布式安装_伪分布式安装

1. jdk安装

2. 安装ssh

3. 下载并解压hadoop

配置

5 启动hdfs

6 停止hdfs

Hadoop shell 的基本使用

相关推荐

数据结构——线索化二叉树和哈夫曼树[通俗易懂]

db2数据库sql中计算两个时间字段的差值用到timestampdiff函数

Math.abs( x )

矩阵奇异值分解（详解）「建议收藏」

@RequestParam注解使用

Hadoop生态系统特点[通俗易懂]

发表回复