Windows下搭建Spark+Hadoop开发环境

Windows下搭建Spark+Hadoop开发环境

大家好,又见面了,我是全栈君。

只需要确保您的电脑已装好Java环境,那么就可以开始了。

 

一. 准备工作

1. 下载Hadoop2.7.1版本(写Spark和Hadoop主要是用到了Yarn,因此Hadoop必须安装)

下载地址:http://apache.fayea.com/hadoop/common/hadoop-2.7.1/

下载其中的hadoop-2.7.1.tar.gz并解压到一个固定目录作为Hadoop安装目录。

2. 下载支持插件

下载地址:https://github.com/ShixiangWan/winutils,其中有很多个Hadoop版本,这里我们以其中的Hadoop2.7.1稳定版为例。

下载后将Hadoop2.7.1的bin中的文件覆盖拷贝至上述的安装目录的bin下。

3. 覆盖hadoop.dll

将插件bin目录下的hadoop.dll复制到C:\Window\System32下。

 

二. 环境变量配置

1. 增加环境变量HADOOP_HOME,指向Hadoop安装根目录;

2. 在Path变量中添加%HADOOP_HOME%\bin;

3. 重启Eclipse或Intellij,直接运行Spark或Hadoop的Maven项目即可。

 

参考资料:

http://blog.csdn.net/shenshendeai/article/details/57962167

 

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/108547.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • video operation_open vino

    video operation_open vino转载注明出处:http://zjbintsystem.blog.51cto.com/964211/713240从盛夏走到深秋,我们继续DAVINCIDM365-DM368的开发。说来惭愧,人家51CTO热情支持本博客,而本人却一直没有像其他博客之星一样频繁更新博客,心里确实说不过去。管理公司确实很累,有更急的客户的项目要做,我们成功先推出了DM6446-810MHz的核心板( htt

    2022年8月13日
    3
  • CSS相对绝对定位 总结

    CSS相对绝对定位 总结相对定位 relative 绝对定位 absolute fixed 在文档流的 relative 未完全脱离文档流的 浮动脱离文档流的 absolute fixedfloat 究竟有没有脱离文档流 为什么文字会围绕在 float 元素周围 而块状元素依然会忽略 float 元素 只能说明 float 未完全脱离文档流 一 解释 1 position st

    2025年7月24日
    4
  • Linux之netstat命令详解

    Linux之netstat命令详解netstat命令用于显示与IP、TCP、UDP和ICMP协议相关的统计数据,一般用于检验本机各端口的网络连接情况。netstat是在内核中访问网络及相关信息的程序,它能提供TCP连接,TCP和UDP监听,进程内存管理的相关报告。TCP连接状态详解LISTEN:侦听来自远方的TCP端口的连接请求 SYN-SENT:再发送连接请求后等待匹配的连接请求 SYN-RECEIVED:再收到和发送一个连接请求后等待对方对连接请求的确认 ESTABLISHED:代表一个打开的连接 FIN-WA.

    2022年5月30日
    37
  • iOS 在TabViewController中的一个ViewController跳转到另一种ViewController

    iOS 在TabViewController中的一个ViewController跳转到另一种ViewController

    2022年1月1日
    43
  • jvm 垃圾回收器比较_jvm有哪些垃圾回收算法

    jvm 垃圾回收器比较_jvm有哪些垃圾回收算法十种垃圾回收器的简介以及调优的一些经验

    2025年8月28日
    4
  • android apk 签名(平台和普通签名)

    android apk 签名(平台和普通签名)因为做了太多的终端项目,客户总会有自己的apk提供,这时候各种签名问题就来了,最近整理了一下相关知识,分享给大家。签名的用处:1.应用程序升级:如果你希望用户无缝升级到新的版本,那么你必须用同一个证书进行签名。这是由于只有以同一个证书签名,系统才会允许安装升级的应用程序。如果你采用了不同的证书,那么系统会要求你的应用程序采用不同的包名称,在这种情况下相当于安装了一个全新的应用程…

    2022年6月6日
    77

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号