配置Hadoop开发环境(Eclipse)

配置Hadoop开发环境(Eclipse)Hadop2 2 0Eclipse 开发环境配置

通常我们可以用Eclipse作为Hadoop程序的开发平台。

1)  下载Eclipse

下载地址:Eclipse Downloads | The Eclipse Foundation

根据操作系统类型,选择合适的版本下载并安装。

2)  下载并编译Hadoop的Eclipse插件

网上可直接下载到Hadoop 1.x 的Eclipse插件,但是该插件和Hadoop2.2 不兼容,所以无法使用。

Hadoop 2.2 的Eclipse插件正处于开发过程中,你可以直接下载源代码并编译。本人在编译过程中碰到了一些ant的配置错误导致无法正常编译,修改ant配置即编译成功,为方便大家,我直接提供编译后的.jar文件供大家下载:

代码下载地址:https://github.com/winghc/hadoop2x-eclipse-plugin

编译后的插件下载地址:Hadoop2.XEclipse插件_eclipse配置hadoop-其它其他资源-CSDN下载

3)  配置Hadoop插件

将下载的hadoop-eclipse-plugin-2.2.0.jar文件放到Eclipse的dropins目录下,重启Eclipse即可看到该插件已生效。

通过Open Perspective菜单打开Map Reduce视图,如下:

配置Hadoop开发环境(Eclipse)

选中大象图标,右键点击Edit Hadoop Location编辑Hadoop配置信息:

配置Hadoop开发环境(Eclipse)

填写正确的Map/Reduce和HDFS信息。(具体根据您的配置而定)

配置Hadoop开发环境(Eclipse)

4)  新建简单Mapreduce项目

通过向导新建一个Map/Reduce项目。在此过程中,请配置Hadoop的安装路径。

配置Hadoop开发环境(Eclipse)

5)  通过Eclipse访问DFS

打开Resource视图,即可看到DFS:

配置Hadoop开发环境(Eclipse)

此时,你可对DFS进行一些操作,比如上传本地文件到HDFS等等,如下图:

配置Hadoop开发环境(Eclipse)

至此,Hadoop的开发环境大致配置完成,下一节我们将看到如何写一个简单的MapReduce程序并放到Hadoop集群上运行。

附上我自己本地环境的几个配置文件内容供大家参考,有错之处敬请指正,谢谢!

1)Core-stie.xml

 
  
      
   
         
    
      fs.default.name 
         
    
      hdfs://localhost:9000 
       
    
  

2)hdfs-site.xml

 

 
   
    
    
      dfs.replication 
     
    
      1 
     
    
    
    
      dfs.namenode.name.dir 
     
    
      file:/var/data/hadoop/hdfs/nn 
     
    
    
    
      fs.checkpoint.dir 
     
    
      file:/var/data/hadoop/hdfs/snn 
     
    
    
    
      fs.checkpoint.edits.dir 
     
    
      file:/var/data/hadoop/hdfs/snn 
     
    
    
    
      dfs.datanode.data.dir 
     
    
      file:/var/data/hadoop/hdfs/dn 
     
    
  

3)Mapred-site.xml

 
  
      
    
    
      mapreduce.framework.name 
     
    
      yarn 
     
    
  

4)yarn-site.xml

 
   
     
    
    
      yarn.nodemanager.aux-services 
     
    
      mapreduce_shuffle 
     
    
    
    
      yarn.nodemanager.aux-services.mapreduce.shuffle.class 
     
    
      org.apache.hadoop.mapred.ShuffleHandler 
     
    
  

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/221606.html原文链接:https://javaforall.net

(0)
上一篇 2026年3月17日 下午5:42
下一篇 2026年3月17日 下午5:42


相关推荐

  • 什么是拉链表_女表拉链的

    什么是拉链表_女表拉链的原文地址:https://blog.csdn.net/xiepeifeng/article/details/42431027在数据仓库的数据模型设计过程中,经常会遇到这样的需求:1.数据量比较大;2.表中的部分字段会被update,如用户的地址,产品的描述信息,订单的状态等等;3.需要查看某一个时间点或者时间段的历史快照信息,比如,查看某一个订单在历史某一个时间点的状态,  比如,查看某一…

    2022年10月16日
    6
  • java traceid_SkyWalking 源码解析 —— traceId 集成到日志组件

    java traceid_SkyWalking 源码解析 —— traceId 集成到日志组件摘要 原创出处 http www iocoder cn SkyWalking trace id integrate into logs 芋道源码 欢迎转载 保留摘要 谢谢 本文主要基于 SkyWalking3 2 6 正式版 1 概述本文主要分享 traceId 集成到日志组件 例如 log4j log4j2 logback 等等 我们首先看看集成的使用例子 再看看集成的实现代码

    2026年3月18日
    2
  • 千问App上线全新Qwen-Image2.0图像生成与编辑模型

    千问App上线全新Qwen-Image2.0图像生成与编辑模型

    2026年3月14日
    3
  • phpstorm 激活码2021【最新永久激活】

    (phpstorm 激活码2021)好多小伙伴总是说激活码老是失效,太麻烦,关注/收藏全栈君太难教程,2021永久激活的方法等着你。IntelliJ2021最新激活注册码,破解教程可免费永久激活,亲测有效,下面是详细链接哦~https://javaforall.net/100143.htmlS32PGH0SQB-eyJsaWNlbnNlSW…

    2022年3月25日
    446
  • 防抖节流基本原理及实现

    防抖节流基本原理及实现1 防抖 防抖是指在事件触发 n 秒后再执行回调 如果在 n 秒内再次被触发 则重新计算时间 就是在触发某个事件后 在下一次触发之前 中间的间隔时间如果超过设置的时间才会发送请求 一直触发就不会发送请求 实现代码如下 func 代表一个函数 里面可能会频繁发生回调或 ajax 请求 delay 表示隔多少秒触发才触发 immediate 表示是否立即执行 可传 true 或 false 默认 falsefunctio func delay immediate result 表示返回

    2026年3月18日
    2
  • 用户态和内核态:用户态线程和内核态线程有什么区别?[通俗易懂]

    用户态和内核态:用户态线程和内核态线程有什么区别?[通俗易懂]转载文章来源于拉钩教育重学操作系统林䭽用户态和内核态:用户态线程和内核态线程有什么区别?什么是用户态和内核态Kernel运行在超级权限模式(SupervisorMode)下,所以拥有很高的权限。按照权限管理的原则,多数应用程序应该运行在最小权限下。因此,很多操作系统,将内存分成了两个区域:内核空间(KernalSpace),这个空间只有内核程序可以访问;用户空间(UserSpace),这部分内存专门给应用程序使用。用户态和内核态用户空间中的代码被限制了只能使用一

    2025年12月9日
    5

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号