Hadoop基础_hadoop教程

Hadoop基础_hadoop教程Hadoop基础

大家好,又见面了,我是你们的朋友全栈君。

1、安装与配置

cd /opt

wget http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz

tar -zxvf hadoop-2.7.7.tar.gz

设置hadoop环境变量

export HADOOP_HOME=/opt//hadoop-2.7.7

export PATH=$PATH:$HADOOP_HOME/bin

export PATH=$PATH:$HADOOP_HOME/sbin

可以找到位置“$HADOOP_HOME/etc/hadoop”下找到所有Hadoop配置文件。为了使用Java开发Hadoop程序,必须重新设置hadoop-env.sh文件的java环境变量。

可以通过echo $JAVA_HOME获取Java位置,然后在hadoop-env.sh中修改

以下是必须编辑配置Hadoop的文件列表。

core-site.xml

core-site.xml文件中包含如读/写缓冲器用于Hadoop的实例的端口号的信息,分配给文件系统存储,用于存储所述数据存储器的限制和大小。

打开core-site.xml 并在<configuration>,</configuration>标记之间添加以下属性。

<configuration> 
  <property> 
   <name>fs.default.name </name>
   <value> hdfs://localhost:9000 </value>
  </property> 

 <property>
  <name>hadoop.tmp.dir</name>
  <value>/hadoop</value>
 </property>

  <property>
  <name>dfs.name.dir</name>
  <value>/hadoop/name</value>
 </property>
</configuration>

hdfs-site.xml

hdfs-site.xml 文件中包含如复制数据的值,NameNode路径的信息,本地文件系统的数据节点的路径。这意味着是存储Hadoop基础工具的地方。

打开这个文件,并在这个文件中的<configuration></configuration>标签之间添加以下属性。

<configuration>

   <property>
      <name>dfs.data.dir</name> 
      <value>/home/hadoop/data</value> 
   </property>
       
</configuration>

注:在上面的文件,所有的属性值是用户定义的,可以根据自己的Hadoop基础架构进行更改。

yarn-site.xml

此文件用于配置成yarn在Hadoop中。打开 yarn-site.xml文件,并在文件中的<configuration></configuration>标签之间添加以下属性。

<configuration>
 
   <property>
      <name>yarn.nodemanager.aux-services</name>
      <value>mapreduce_shuffle</value> 
   </property>
  
</configuration>

mapred-site.xml

此文件用于指定正在使用MapReduce框架。缺省情况下,包含Hadoop的模板yarn-site.xml。首先,它需要从mapred-site.xml复制。获得mapred-site.xml模板文件使用以下命令。

$ cp mapred-site.xml.template mapred-site.xml

打开mapred-site.xml文件,并在此文件中的<configuration></configuration>标签之间添加以下属性。

<configuration>
 
   <property> 
      <name>mapreduce.framework.name</name>
      <value>yarn</value>
   </property>
   
</configuration>

转载于:https://my.oschina.net/lin546/blog/3016365

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/106962.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • 代价函数总结[通俗易懂]

    代价函数总结[通俗易懂]代价函数是学习模型优化时的目标函数或者准则,通过最小化代价函数来优化模型。到目前为止,接触了一些机器学习算法,但是他们使用的代价函数不一定是一样的,由于,在现实的使用中,通常代价函数都需要自己来确定,所以,这里总结一下,代价函数都有哪些形式,尽量揣测一下,这样使用的原因。1.均方差代价函数这个是Andrewng的机器学习课程里面看到的损失函数,在线性回归模型里面提出来的。表示模型所预测(假设

    2022年4月29日
    46
  • Java取余和取模

    Java取余和取模抛开高级语言的实现,取余运算和取模运算本身并不完全一致,区别在于对负整数进行取商时操作不同。虽然这样说,但是取余运算和取模运算的公式都一样。对于x和y两个整数(int),通过以下两个操作获取余数或模数:step1、求商:intz=x/ystep2、求余数或模数:intresult=x-y*z它们的差别在于,如果z的值…

    2022年4月29日
    54
  • 服务器系统详细安装步骤图_服务器系统安装教程详细步骤

    服务器系统详细安装步骤图_服务器系统安装教程详细步骤一、首先按住ctrl+alt+delete进行对KVM的重启操作,在进行重启的过程中按F2,进入BIOS界面,对RAID进行磁盘阵列:1、选择DeviceSetting,进入界面后选择RAIDControllerinSlot4:进行操作。2、先选择VirtualDiskManagement命令,查看系统是否已经进行了磁盘阵列。(如果已经存在进行步骤3,如果未存在进行步骤4)3、按Esc返回上一级,选择ConfigurationManagem…

    2022年9月28日
    5
  • 2019版idea激活码99年(注册激活)

    (2019版idea激活码99年)最近有小伙伴私信我,问我这边有没有免费的intellijIdea的激活码,然后我将全栈君台教程分享给他了。激活成功之后他一直表示感谢,哈哈~IntelliJ2021最新激活注册码,破解教程可免费永久激活,亲测有效,下面是详细链接哦~https://javaforall.net/100143.html2J…

    2022年3月29日
    503
  • IO 模型_netty reactor模型

    IO 模型_netty reactor模型//IOCP2.cpp:Definestheentrypointfortheconsoleapplication.//#include”stdafx.h”#include<WinSock2.h>#include<MSWSock.h>#include<Windows.h>#include&lt…

    2022年9月27日
    3
  • 【2010年就业考虑】- 阿朗,华为,中兴,大唐,爱立信,诺西,鼎桥,普天思科MOTO等…

    【2010年就业考虑】- 阿朗,华为,中兴,大唐,爱立信,诺西,鼎桥,普天思科MOTO等…

    2021年8月7日
    146

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号