Windows下搭建Spark+Hadoop开发环境

Windows下搭建Spark+Hadoop开发环境

大家好,又见面了,我是全栈君。

只需要确保您的电脑已装好Java环境,那么就可以开始了。

 

一. 准备工作

1. 下载Hadoop2.7.1版本(写Spark和Hadoop主要是用到了Yarn,因此Hadoop必须安装)

下载地址:http://apache.fayea.com/hadoop/common/hadoop-2.7.1/

下载其中的hadoop-2.7.1.tar.gz并解压到一个固定目录作为Hadoop安装目录。

2. 下载支持插件

下载地址:https://github.com/ShixiangWan/winutils,其中有很多个Hadoop版本,这里我们以其中的Hadoop2.7.1稳定版为例。

下载后将Hadoop2.7.1的bin中的文件覆盖拷贝至上述的安装目录的bin下。

3. 覆盖hadoop.dll

将插件bin目录下的hadoop.dll复制到C:\Window\System32下。

 

二. 环境变量配置

1. 增加环境变量HADOOP_HOME,指向Hadoop安装根目录;

2. 在Path变量中添加%HADOOP_HOME%\bin;

3. 重启Eclipse或Intellij,直接运行Spark或Hadoop的Maven项目即可。

 

参考资料:

http://blog.csdn.net/shenshendeai/article/details/57962167

 

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/108547.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • arping指令linux,arping命令详解「建议收藏」

    arping指令linux,arping命令详解「建议收藏」1版本arping主要就是查看ip的MAC地址及IP占用的问题。arping有两个版本,一个版本是ThomasHabets这个人写的,这个版本有个好处是可以arping,也就是说我们可以通过MAC地址得到IP;还有一个版本是Linuxiputilssuite的,这个版本就不能通过MAC地址,解析出IP地址了。可以使用arping-V查看系统的arping的版本[root@dev-…

    2022年6月10日
    40
  • CSGO开箱网站大全_csgo哪个开箱网站能直接取

    CSGO开箱网站大全_csgo哪个开箱网站能直接取csgo开箱网站有哪些?csgo开箱网站大全##以下国内知名CSGO开箱网站官网直达链接优惠码/推广码网站状态incsgocsgogo直接取回skinsdogcsgogo直接取回88skinscsgo直接取回skskinscsgogo直接取回npskinscsgogo直接取回fateskinscsgo直接取回yskins暂无可取回coolkaixiangcsgo直接取回piggycasecsgogo

    2022年10月6日
    0
  • 匿名函数自调用_自己调用自己的函数叫

    匿名函数自调用_自己调用自己的函数叫我们知道一个HTML文件在被加载的时候是从根标签html依次往下的,在遇到link,script等标签引入的外部资源时,下载外部资源,并执行外部资源。在js中,表达式会被立即执行,也就是说,不管是引入的外部js文件还是嵌入在html文件中的js脚本,其中的表达式都会被立即执行。函数名是一个指向函数的指针。在JavaScript中,定义函数有常见的两种形式:函数声明和函数直接量(或者叫函数表达式)

    2022年10月3日
    0
  • mysql 联合查询_MySQL联合查询

    mysql 联合查询_MySQL联合查询MySQL联合查询联合查询:union,将多次查询(多条select语句)的结果,在字段数相同的情况下,在记录的层次上进行拼接。基本语法联合查询由多条select语句构成,每条select语句获取的字段数相同,但与字段类型无关。基本语法:select语句1+union+[union选项]+select语句2+…;union选项:与select选项一样有两种all:无论重复…

    2022年6月10日
    36
  • Linux基础_vim命令

     使用过LINUX操作系统的人应该都知道vim命令可以编写文本,对于没有接触过的同学通过以下介绍就可以轻松学会vim命令的使用方法。1.vim的工作模式 vim有三种工作模式,分别为命令模式,插入模式和退出模式。命令模式下不能编辑文本,通过i进入插入模式进行编辑,编辑完成后通过Esc键进入命令模式,在命令模式下输入:wq进行保存退出,其中w表示保存,q表示退出。2.vim常用工作参…

    2022年4月10日
    40
  • Matlab中sqrt函数的用法「建议收藏」

    Matlab中sqrt函数的用法「建议收藏」目录语法说明示例向量元素的平方根输入参数详细信息IEEE合规性提示sqrt求解平方根语法B=sqrt(X)说明B=sqrt(X)返回数组X的每个元素的平方根。对于X的负元素或复数元素,sqrt(X)生成复数结果。sqrt函数的域包含负数和复数,如果使用不当,可能会导致意外结果。对于负的复数z=u+i*w,复数方根sqrt(z)返回sqrt(r)*(cos(phi/2)+1i*sin(phi/2))…

    2022年5月1日
    109

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号