Windows下搭建Spark+Hadoop开发环境

Windows下搭建Spark+Hadoop开发环境

大家好,又见面了,我是全栈君。

只需要确保您的电脑已装好Java环境,那么就可以开始了。

 

一. 准备工作

1. 下载Hadoop2.7.1版本(写Spark和Hadoop主要是用到了Yarn,因此Hadoop必须安装)

下载地址:http://apache.fayea.com/hadoop/common/hadoop-2.7.1/

下载其中的hadoop-2.7.1.tar.gz并解压到一个固定目录作为Hadoop安装目录。

2. 下载支持插件

下载地址:https://github.com/ShixiangWan/winutils,其中有很多个Hadoop版本,这里我们以其中的Hadoop2.7.1稳定版为例。

下载后将Hadoop2.7.1的bin中的文件覆盖拷贝至上述的安装目录的bin下。

3. 覆盖hadoop.dll

将插件bin目录下的hadoop.dll复制到C:\Window\System32下。

 

二. 环境变量配置

1. 增加环境变量HADOOP_HOME,指向Hadoop安装根目录;

2. 在Path变量中添加%HADOOP_HOME%\bin;

3. 重启Eclipse或Intellij,直接运行Spark或Hadoop的Maven项目即可。

 

参考资料:

http://blog.csdn.net/shenshendeai/article/details/57962167

 

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/108547.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • 转录组测序火山图_转录组差异基因筛选标准

    转录组测序火山图_转录组差异基因筛选标准利用R包DEseq2进行差异表达分析和可视化count数矩阵在Linux下,通过HISAT2对下载的GSE数据进行比对,FeatureCounts软件进行基因水平定量,得到count数矩阵。之后便可以载入R语言中进行差异分析。差异分析第一次分析RNA-seq数据,走到这一步相对容易了许多。转录组数据分析主要参考了生信技能树Jimmy老师的相关课程及推文。RNA-seq的readcount普遍认为符合泊松分布,但是之前分析过的芯片数据符合正态分布,所以筛选DEGs的方法有一定差别。.

    2022年8月30日
    3
  • 三极管典型开关电路

    三极管典型开关电路1.基极必须串接电阻,保护基极,保护CPU的IO口。2.基极根据PNP或者NPN管子加上拉电阻或者下拉电阻。3.集电极电阻阻值根据驱动电流实际情况调整。同样基极电阻也可以根据实际情况调整。4.基极和发射极需要并联电阻,该电阻的作用是在输入呈高阻态时使晶体管可靠截止,极小值是在前级驱动使晶体管饱和时与基极限流电阻分压后能够满足晶体管的临界饱和,实际选择时会大大高于这个极小值,

    2022年9月15日
    0
  • LeetCode刷题_LeetCode刷题手册

    LeetCode刷题_LeetCode刷题手册  虽然刷题一直饱受诟病,不过不可否认刷题确实能锻炼我们的编程能力,相信每个认真刷题的人都会有体会。现在提供在线编程评测的平台有很多,比较有名的有hihocoder,LintCode,以及这里我们关注的LeetCode。LeetCode收录了许多互联网公司的算法题目,被称为刷题神器,我虽然早有耳闻,不过却一直没有上面玩过。  据了解,LeetCode是一个非常棒的OJ(OnlineJ…

    2022年10月23日
    0
  • 浅谈滴滴派单算法

    浅谈滴滴派单算法(图片付费下载自视觉中国)作者|王犇刘春阳徐哲来源|滴滴技术(ID:didi_tech)【导读】说到滴滴的派单算法,大家可能感觉到既神秘又好奇,从出租车扬召到…

    2022年6月2日
    39
  • navict 15激活码_最新在线免费激活2022.02.17

    (navict 15激活码)好多小伙伴总是说激活码老是失效,太麻烦,关注/收藏全栈君太难教程,2021永久激活的方法等着你。IntelliJ2021最新激活注册码,破解教程可免费永久激活,亲测有效,下面是详细链接哦~https://javaforall.net/100143.htmlFZP9ED60OK-eyJsaWNlbnNlSWQi…

    2022年4月1日
    47
  • SSM-Spring整合Mybatis[通俗易懂]

    SSM-Spring整合Mybatis[通俗易懂]步驟导入相关jar包junitmybatismysql数据库spring相关的aop植入mybatis-spring[new]<!–导入依赖–> <dependencies> <dependency> <groupId>mysql</groupId> <artifactId>mysql-connector-java</artifa

    2022年8月8日
    3

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号