Windows下搭建Spark+Hadoop开发环境

Windows下搭建Spark+Hadoop开发环境

大家好,又见面了,我是全栈君。

只需要确保您的电脑已装好Java环境,那么就可以开始了。

 

一. 准备工作

1. 下载Hadoop2.7.1版本(写Spark和Hadoop主要是用到了Yarn,因此Hadoop必须安装)

下载地址:http://apache.fayea.com/hadoop/common/hadoop-2.7.1/

下载其中的hadoop-2.7.1.tar.gz并解压到一个固定目录作为Hadoop安装目录。

2. 下载支持插件

下载地址:https://github.com/ShixiangWan/winutils,其中有很多个Hadoop版本,这里我们以其中的Hadoop2.7.1稳定版为例。

下载后将Hadoop2.7.1的bin中的文件覆盖拷贝至上述的安装目录的bin下。

3. 覆盖hadoop.dll

将插件bin目录下的hadoop.dll复制到C:\Window\System32下。

 

二. 环境变量配置

1. 增加环境变量HADOOP_HOME,指向Hadoop安装根目录;

2. 在Path变量中添加%HADOOP_HOME%\bin;

3. 重启Eclipse或Intellij,直接运行Spark或Hadoop的Maven项目即可。

 

参考资料:

http://blog.csdn.net/shenshendeai/article/details/57962167

 

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/108547.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • java课程设计-多人聊天工具(socket+多线程)

    大一下学期的java期末课程设计,分享一下文章目录课设要求相关知识点类图项目框架核心代码1.服务器端Server.java课设要求多人聊天工具服务器要求1:能够看到所有在线用户(25%)服务器要求2:能够强制用户下线(25%)客户端要求1:能够看到所有在线用户(25%)客户端要求2:能够向某个用户发送消息(25%)相关知识点1.服务端能够看到所有在线用户服务端继承了JFrame,实现可视化,通过socket实现服务端与客户端的连接,服务端每接收一个连接,把传进来的用户名和对应的s.

    2022年4月7日
    60
  • MMC 卡驱动分析[通俗易懂]

    MMC 卡驱动分析[通俗易懂]最近花时间研究了一下MMC卡驱动程序,开始在网上找了很多关于MMC卡驱动的分析文章,但大都是在描述各个层,这对于初学者来讲帮助并不大,所以我就打算把自己的理解写下来,希望对大家有用。个人觉得理解LINUX内核当中MMC/SD卡驱动程序构架是学习MMC卡驱动程序的重点,只有理解了它的基本框架或流程才能真正理解一个块设备驱动程序的写法,同时才能真正理解LINUX设备驱动模型是如

    2022年6月14日
    40
  • Python OSError: [Errno 22] Invalid argument:的出现和解决「建议收藏」

    Python OSError: [Errno 22] Invalid argument:的出现和解决「建议收藏」1、在学习从文件读取数据中,写了个示例代码,读取不在同一个目录的file.txt,运行后报这个PythonOSError:[Errno22]Invalidargument:错误:(1)、首先,在F盘的python_stu中新增了一个file.txt,同时在F盘的python_stu文件目录底下新增一个file文件夹,里面有个file_reader.py来读取python_stu文件目…

    2022年6月24日
    46
  • Microsoft Enterprise Library 6.0 下载

    Microsoft Enterprise Library 6.0 下载一不留神entLib也发布了6.0版本程序及源代码的下载:http://www.microsoft.com/en-us/download/details.aspx?id=38789附:MSDN的参考资料:http://msdn.microsoft.com/en-us/library/dn169621.aspx转载于:https://www.cnbl…

    2022年10月20日
    3
  • PHP7中标量类型declare的用法详解

    PHP7中标量类型declare的用法详解

    2021年10月30日
    39
  • QCustomPlot 官方文档学习1

    QCustomPlot 官方文档学习1      用一些实例来作为QCustomPlot学习的指南,如果用QtCreater提升一个Widget,就能够通过 ui->customPlot或者其他的名字访问各个Widget;Youcancreateanewgraphintheplotvia customPlot->addGraph().Thenyouassignthegraphsome…

    2022年10月16日
    2

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号