HBASE的MAPREDUCE任务运行异常解决办法,无需CYGWIN,纯WINDOWS环境

HBASE的MAPREDUCE任务运行异常解决办法,无需CYGWIN,纯WINDOWS环境

转自:http://www.blogjava.net/paulwong/archive/2012/10/03/388977.html

如果是在WINDOWS的ECLIPSE中,运行HBASE的MAPREDUCE,会出现异常,这是由于默认运行MAPREDUCE任务是在本地运行,而由于会建立文件赋权限是按照UNIX的方式进行,因此会报错:

HBASE的MAPREDUCE任务运行异常解决办法,无需CYGWIN,纯WINDOWS环境 java.lang.RuntimeException: Error  while  running command to get file permissions : java.io.IOException: Cannot run program  ” ls ” : CreateProcess error = 2 ,

解决办法是将任务发到运程主机,通常是LINUX上运行,在hbase-site.xml中加入:

HBASE的MAPREDUCE任务运行异常解决办法,无需CYGWIN,纯WINDOWS环境 < property >

HBASE的MAPREDUCE任务运行异常解决办法,无需CYGWIN,纯WINDOWS环境     < name > mapred.job.tracker </ name >

HBASE的MAPREDUCE任务运行异常解决办法,无需CYGWIN,纯WINDOWS环境     < value > master:9001 </ value >

HBASE的MAPREDUCE任务运行异常解决办法,无需CYGWIN,纯WINDOWS环境 </ property >

同时需把HDFS的权限机制关掉:

HBASE的MAPREDUCE任务运行异常解决办法,无需CYGWIN,纯WINDOWS环境 < property >

HBASE的MAPREDUCE任务运行异常解决办法,无需CYGWIN,纯WINDOWS环境     < name > dfs.permissions </ name >

HBASE的MAPREDUCE任务运行异常解决办法,无需CYGWIN,纯WINDOWS环境     < value > false </ value >

HBASE的MAPREDUCE任务运行异常解决办法,无需CYGWIN,纯WINDOWS环境 </ property >

另外由于是在远程上执行任务,自定义的类文件,如Maper/Reducer等需打包成jar文件上传,具体见方案:
Hadoop作业提交分析(五)http://www.cnblogs.com/spork/archive/2010/04/21/1717592.html

研究了好几天,终于搞清楚,CONFIGUARATION就是JOB的配置信息,远程JOBTRACKER就是以此为参数构建JOB去执行,由于远程主机并没有自定义的MAPREDUCE类,需打成JAR包后,上传到主机处,但无需每次都手动传,可以代码设置:

HBASE的MAPREDUCE任务运行异常解决办法,无需CYGWIN,纯WINDOWS环境 conf.set( ” tmpjars ” ,  ” d:/aaa.jar ” );

另注意,如果在WINDOWS系统中,文件分隔号是“;”,生成的JAR包信息是以“;”间隔的,在远程主机的LINUX上是无法辨别,需改为:

HBASE的MAPREDUCE任务运行异常解决办法,无需CYGWIN,纯WINDOWS环境 System.setProperty( ” path.separator ” ,  ” : ” );

参考文章:
http://www.cnblogs.com/xia520pi/archive/2012/05/20/2510723.html

使用hadoop eclipse plugin提交Job并添加多个第三方jar(完美版)
http://heipark.iteye.com/blog/1171923

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/110182.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • 阿里笔试题(2017在线编程题)– 数串分组 –Java实现

    阿里笔试题(2017在线编程题)– 数串分组 –Java实现看到有人写了阿里的面试题,心里痒痒,好久没搞过这些了,写着实现一下题目2017年3月阿里在线编程题(实习内推)给定一串数字判断是否存在这三个元素,它们将数字串分为四个子串,其中每个子串的数字之和均相同(该3个元素不纳入计算)要求时间复杂度和空间复杂度均不能超过O(n)实现简单的用Java实现了一下,大家凑乎看,有问题请多多指出–一个半路出家的Java程序员代

    2022年5月12日
    43
  • linux中systemctl详细理解及常用命令

    linux中systemctl详细理解及常用命令一、systemctl理解Linux服务管理两种方式service和systemctlsystemd是Linux系统最新的初始化系统(init),作用是提高系统的启动速度,尽可能启动较少的进程,尽可能更多进程并发启动。systemd对应的进程管理命令是systemctl1.systemctl命令兼容了service即systemctl也会去/etc/init.d目录下…

    2022年5月9日
    72
  • bookmark什么意思_猎豹浏览器bookmarks乱码

    bookmark什么意思_猎豹浏览器bookmarks乱码这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML图表FLowchart流程图导出与导入导出导入欢迎使用Ma…

    2022年4月19日
    86
  • java 数组转换_java数组转json

    java 数组转换_java数组转json 1.Arrays.asList坑点说明在开发中,我们有时候会需要将数组转换为集合List,这时候可能会想到Arrays.asList(),毕竟它是java提供的,肯定专业。。。吗?Integer[]a={1,2,3};List<Integer>list=Arrays.asList(a);System.out.println(list);但是实际上这里面有个大坑,如果不熟悉很容易GG。就是它转换成的其实是个“假List”,为什么这么说呢,因为它返回的其实

    2022年8月23日
    6
  • win7 64位wamp2.5无法启动MSVCR110.DLL丢失听语音

    win7 64位wamp2.5无法启动MSVCR110.DLL丢失听语音

    2021年9月23日
    64
  • Scrapy爬虫框架_nodejs爬虫框架对比

    Scrapy爬虫框架_nodejs爬虫框架对比一、爬虫框架Scrapy的整体架构:ScrapyEngine(引擎):负责Spider、ItemPipeline、Downloader、Scheduler中间的通讯、信号、数据传递等。Spider(爬虫):负责处理所有Responses,从中分析提取数据,获取Item字段需要的数据,并将需要跟进的URL提交给引擎,再次进入Scheduler(调度器)。(DTO数据传输对象)Scheduler(调度器):它负责接受引擎发送过来的Request请求,并按照一定的方式进行整理排列,入队,当引.

    2025年5月31日
    4

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号