HBASE的MAPREDUCE任务运行异常解决办法,无需CYGWIN,纯WINDOWS环境

HBASE的MAPREDUCE任务运行异常解决办法,无需CYGWIN,纯WINDOWS环境

转自:http://www.blogjava.net/paulwong/archive/2012/10/03/388977.html

如果是在WINDOWS的ECLIPSE中,运行HBASE的MAPREDUCE,会出现异常,这是由于默认运行MAPREDUCE任务是在本地运行,而由于会建立文件赋权限是按照UNIX的方式进行,因此会报错:

HBASE的MAPREDUCE任务运行异常解决办法,无需CYGWIN,纯WINDOWS环境 java.lang.RuntimeException: Error  while  running command to get file permissions : java.io.IOException: Cannot run program  ” ls ” : CreateProcess error = 2 ,

解决办法是将任务发到运程主机,通常是LINUX上运行,在hbase-site.xml中加入:

HBASE的MAPREDUCE任务运行异常解决办法,无需CYGWIN,纯WINDOWS环境 < property >

HBASE的MAPREDUCE任务运行异常解决办法,无需CYGWIN,纯WINDOWS环境     < name > mapred.job.tracker </ name >

HBASE的MAPREDUCE任务运行异常解决办法,无需CYGWIN,纯WINDOWS环境     < value > master:9001 </ value >

HBASE的MAPREDUCE任务运行异常解决办法,无需CYGWIN,纯WINDOWS环境 </ property >

同时需把HDFS的权限机制关掉:

HBASE的MAPREDUCE任务运行异常解决办法,无需CYGWIN,纯WINDOWS环境 < property >

HBASE的MAPREDUCE任务运行异常解决办法,无需CYGWIN,纯WINDOWS环境     < name > dfs.permissions </ name >

HBASE的MAPREDUCE任务运行异常解决办法,无需CYGWIN,纯WINDOWS环境     < value > false </ value >

HBASE的MAPREDUCE任务运行异常解决办法,无需CYGWIN,纯WINDOWS环境 </ property >

另外由于是在远程上执行任务,自定义的类文件,如Maper/Reducer等需打包成jar文件上传,具体见方案:
Hadoop作业提交分析(五)http://www.cnblogs.com/spork/archive/2010/04/21/1717592.html

研究了好几天,终于搞清楚,CONFIGUARATION就是JOB的配置信息,远程JOBTRACKER就是以此为参数构建JOB去执行,由于远程主机并没有自定义的MAPREDUCE类,需打成JAR包后,上传到主机处,但无需每次都手动传,可以代码设置:

HBASE的MAPREDUCE任务运行异常解决办法,无需CYGWIN,纯WINDOWS环境 conf.set( ” tmpjars ” ,  ” d:/aaa.jar ” );

另注意,如果在WINDOWS系统中,文件分隔号是“;”,生成的JAR包信息是以“;”间隔的,在远程主机的LINUX上是无法辨别,需改为:

HBASE的MAPREDUCE任务运行异常解决办法,无需CYGWIN,纯WINDOWS环境 System.setProperty( ” path.separator ” ,  ” : ” );

参考文章:
http://www.cnblogs.com/xia520pi/archive/2012/05/20/2510723.html

使用hadoop eclipse plugin提交Job并添加多个第三方jar(完美版)
http://heipark.iteye.com/blog/1171923

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/110182.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • 快速使用 BERT 生成词向量:bert-as-service

    快速使用 BERT 生成词向量:bert-as-serviceBERT模型是一种NLP预训练技术,本文不介绍BERT的原理,主要关注如何快速上手使用BERT模型生成词向量用于下游任务。Google已经公开了TensorFlow版本的预训练模型和代码,可以用于生成词向量,但是还有更简单的方法:直接调用封装好的库bert-as-service。使用bert-as-service生成词向量bert-as-service是腾讯…

    2022年6月1日
    84
  • php中的ceil和floo以及round函数「建议收藏」

    php中的ceil和floo以及round函数「建议收藏」php中的ceil和floo以及round函数

    2022年4月21日
    50
  • python下载hashlib命令_python之hashlib模块[通俗易懂]

    python下载hashlib命令_python之hashlib模块[通俗易懂]importhashlib#md5加密工具,md5是不可逆的,所以只能比较密文,不能比较明文,python中不仅仅提供md5加密方法,还提供sha1,sha224,sha256,sha384,sha512,MD5加密算法test_md5=hashlib.md5()test_md5.update(bytes(‘123′,encoding=’utf-8’))ret=test_md5.hexd…

    2022年6月1日
    40
  • android微信代码大全,微信满屏表情代码大全复制

    android微信代码大全,微信满屏表情代码大全复制微信满屏表情代码大全复制,相信很多人在用微信聊天的时候发现了,有的时候我们聊天中写了一些字符的时候,就会触发掉小表情的特效。比如打生日蛋糕就会往下掉蛋糕,打爱你则会往下掉飞吻的emoji表情。那么微信还有哪些字符可以触发满屏表情掉落呢?趣丁网为您整理了目前知道的常规触发字符哦。还有一些节日小表情,就要等大家自己发现了!微信满屏表情代码大全复制飞吻:จุ๊บ、kissesandhugs、baci…

    2022年6月1日
    137
  • 关于IE打印预览内容显示不全的问题解决「建议收藏」

    关于IE打印预览内容显示不全的问题解决

    2022年1月19日
    68
  • LoadRunner教程01:性能测试常见用语

    LoadRunner教程01:性能测试常见用语1、并发用户数量:常见的错误理解:使用系统的全部用户数量使用系统的全部在线用户数量正确理解:与服务器进行交互的在线用户数量2、请求响应时间:从client发出请求到得到响应的整个时间,一般包括网络响应时间+server的响应时间3、事务请求响应时间:完成这个事务所用的时间,这个是性能测试中重点关注的指标4、吞吐率:单位时间在网络上传输的数据量(从服务端返

    2022年5月10日
    34

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号