Windows下搭建Spark+Hadoop开发环境

Windows下搭建Spark+Hadoop开发环境

大家好,又见面了,我是全栈君。

只需要确保您的电脑已装好Java环境,那么就可以开始了。

 

一. 准备工作

1. 下载Hadoop2.7.1版本(写Spark和Hadoop主要是用到了Yarn,因此Hadoop必须安装)

下载地址:http://apache.fayea.com/hadoop/common/hadoop-2.7.1/

下载其中的hadoop-2.7.1.tar.gz并解压到一个固定目录作为Hadoop安装目录。

2. 下载支持插件

下载地址:https://github.com/ShixiangWan/winutils,其中有很多个Hadoop版本,这里我们以其中的Hadoop2.7.1稳定版为例。

下载后将Hadoop2.7.1的bin中的文件覆盖拷贝至上述的安装目录的bin下。

3. 覆盖hadoop.dll

将插件bin目录下的hadoop.dll复制到C:\Window\System32下。

 

二. 环境变量配置

1. 增加环境变量HADOOP_HOME,指向Hadoop安装根目录;

2. 在Path变量中添加%HADOOP_HOME%\bin;

3. 重启Eclipse或Intellij,直接运行Spark或Hadoop的Maven项目即可。

 

参考资料:

http://blog.csdn.net/shenshendeai/article/details/57962167

 

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/108547.html原文链接:https://javaforall.net

(0)
上一篇 2022年3月2日 下午6:00
下一篇 2022年3月2日 下午7:00


相关推荐

  • 阿里巴巴千问APP上线:开源大模型在消费级AI中的应用实践 – 教程

    阿里巴巴千问APP上线:开源大模型在消费级AI中的应用实践 – 教程

    2026年3月12日
    2
  • ubuntu修改root密码,$ sudo passwd root

    ubuntu修改root密码,$ sudo passwd rootlyzh ubuntu passwdrootpa Youmaynotvie lyzh ubuntu sudopasswdro RetypenewUNI passwd passwordupda

    2026年3月19日
    2
  • [生信]biomaRt 基因ID的转换

    [生信]biomaRt 基因ID的转换生信 基因 ID 的转换 Bioconductor 系列之 biomaRt 包的安装选择数据库三个主要函数 getBM getSequence getLDS 几个实用的例子一 对几个基因 symbol 注释它对应的 EnsembleID 和 ENTREZID 二 对刚才的那三个探针 ID 号进行多个内容注释 每个探针都对应着基因名已经染色体及起始终止坐标 三 对给定的基因 ID 号进行 GO 注释四 通过染色体及起始终止坐标来挑选基

    2026年3月18日
    2
  • 最优二叉树——哈夫曼树

    最优二叉树——哈夫曼树最优二叉树 哈夫曼树标签 structnull 算法 inputpathtre 04 2818 0 人阅读评论 11 收藏举报分类 学习专区 140 作者同类文章 X 数据结构 1 作者同类文章 X 版权声明 本文为博主原创文章 未经博

    2026年3月18日
    2
  • 技术至简-9:什么是脉冲调制以及脉冲幅度调制PAM与脉冲编码调制PCM的区别?

    技术至简-9:什么是脉冲调制以及脉冲幅度调制PAM与脉冲编码调制PCM的区别?脉冲调制 在常规的调制中 通常使用正弦波或复指数信号作为载波 来传递基带信号 而脉冲调制是 使用矩形脉冲信号作为载波 来传递基带信号 有分为两种类型 脉冲幅度调制 PAM 与脉冲编码调制 PCMPAM 脉冲幅度调制利用连续时间的基带时域信号去调制矩形脉冲载波信号的幅度 即矩形脉冲载波信号的幅度的变化来传递连续时间的基带时域信号的幅度 因此在传输信道上 PAM 传递的是调制后的矩形脉冲信号 具体过程如下 1 采样 得到时域信号的幅度值 2 传输 在信道中 直接传递信

    2026年3月17日
    2
  • html网页生成工具

    html网页生成工具1.初始化页面2.点击[通用字段]中的控件,控件会自动添加到中间的蓝色框3.选中中间控件,属性可以在右侧进行更改,例如宽度,默认值等转载于:https://juejin.im/post/5ca2c92d6fb9a05e620b7d32…

    2022年5月21日
    94

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号