HBASE的MAPREDUCE任务运行异常解决办法,无需CYGWIN,纯WINDOWS环境

HBASE的MAPREDUCE任务运行异常解决办法,无需CYGWIN,纯WINDOWS环境

转自:http://www.blogjava.net/paulwong/archive/2012/10/03/388977.html

如果是在WINDOWS的ECLIPSE中,运行HBASE的MAPREDUCE,会出现异常,这是由于默认运行MAPREDUCE任务是在本地运行,而由于会建立文件赋权限是按照UNIX的方式进行,因此会报错:

HBASE的MAPREDUCE任务运行异常解决办法,无需CYGWIN,纯WINDOWS环境 java.lang.RuntimeException: Error  while  running command to get file permissions : java.io.IOException: Cannot run program  ” ls ” : CreateProcess error = 2 ,

解决办法是将任务发到运程主机,通常是LINUX上运行,在hbase-site.xml中加入:

HBASE的MAPREDUCE任务运行异常解决办法,无需CYGWIN,纯WINDOWS环境 < property >

HBASE的MAPREDUCE任务运行异常解决办法,无需CYGWIN,纯WINDOWS环境     < name > mapred.job.tracker </ name >

HBASE的MAPREDUCE任务运行异常解决办法,无需CYGWIN,纯WINDOWS环境     < value > master:9001 </ value >

HBASE的MAPREDUCE任务运行异常解决办法,无需CYGWIN,纯WINDOWS环境 </ property >

同时需把HDFS的权限机制关掉:

HBASE的MAPREDUCE任务运行异常解决办法,无需CYGWIN,纯WINDOWS环境 < property >

HBASE的MAPREDUCE任务运行异常解决办法,无需CYGWIN,纯WINDOWS环境     < name > dfs.permissions </ name >

HBASE的MAPREDUCE任务运行异常解决办法,无需CYGWIN,纯WINDOWS环境     < value > false </ value >

HBASE的MAPREDUCE任务运行异常解决办法,无需CYGWIN,纯WINDOWS环境 </ property >

另外由于是在远程上执行任务,自定义的类文件,如Maper/Reducer等需打包成jar文件上传,具体见方案:
Hadoop作业提交分析(五)http://www.cnblogs.com/spork/archive/2010/04/21/1717592.html

研究了好几天,终于搞清楚,CONFIGUARATION就是JOB的配置信息,远程JOBTRACKER就是以此为参数构建JOB去执行,由于远程主机并没有自定义的MAPREDUCE类,需打成JAR包后,上传到主机处,但无需每次都手动传,可以代码设置:

HBASE的MAPREDUCE任务运行异常解决办法,无需CYGWIN,纯WINDOWS环境 conf.set( ” tmpjars ” ,  ” d:/aaa.jar ” );

另注意,如果在WINDOWS系统中,文件分隔号是“;”,生成的JAR包信息是以“;”间隔的,在远程主机的LINUX上是无法辨别,需改为:

HBASE的MAPREDUCE任务运行异常解决办法,无需CYGWIN,纯WINDOWS环境 System.setProperty( ” path.separator ” ,  ” : ” );

参考文章:
http://www.cnblogs.com/xia520pi/archive/2012/05/20/2510723.html

使用hadoop eclipse plugin提交Job并添加多个第三方jar(完美版)
http://heipark.iteye.com/blog/1171923

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/110182.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • symbian http 联网时 不弹出接入点框「建议收藏」

    symbian不弹出接入点:目前在五版的5800xm5235测试通过。记录一下voidCHttpEngine::SetupConnectionL(){if(iConnectionSetupDone){//ConnectionsetupisdoneUser::Leave(KErrAlreadyExists);}if(IsA…

    2022年4月8日
    39
  • mysql 设置外键约束(foreign key)

    mysql 设置外键约束(foreign key)建立外键约束可以采用列级约束语法和表级约束语法,如果仅仅对单独的一个数据列建立外键约束,则使用列级约束语法即可;如果需要对多个列组合创建外键约束,或者需要为外键约束指定名字则必须使用表级约束语法。      使用列级约束语法建立外键约束直接使用references关键字,references指定该列参照的哪个主表,以及参照主表的哪一列。如下SQL语句所示:createtablet

    2022年6月22日
    30
  • 解决:Failed to convert value of type ‘java.lang.String‘ to required type ‘java.util.Date‘;

    解决:Failed to convert value of type ‘java.lang.String‘ to required type ‘java.util.Date‘;发生这一错误的主要原因是Controller类中需要接收的是Date类型,但是在页面端传过来的是String类型,最终导致了这个错误。这里提供两种解决方案,一种是局部转换,一种是全局转换。一.局部转换@ControllerpublicclassUserController{ @RequestMapping(value=”/login.do”) publicStr

    2022年7月13日
    18
  • 重庆java培训机构哪个好_java培训班

    重庆java培训机构哪个好_java培训班前言说到CAS(CompareAndSwap),不得不先说一说悲观锁和乐观锁,因为CAS是乐观锁思想的一种实现。悲观锁:总是很悲观的认为,每次拿数据都会有其他线程并发执行,所以每次都会进行加锁,用完之后释放锁,其他的线程才能拿到锁,进而拿到资源进行操作。java中的synchronized和ReentrantLock等独占锁就是悲观锁思想的实现。乐观锁:总是很乐观认为,自己拿到数据操作的时候,没有其他线程来并发操作,等自己操作结束要更新数据时,判断自己对数据操作的期间有没有其他线程进行操作,如果有,则

    2022年10月4日
    2
  • Sublime的中文GBK显示乱码的解决方法「建议收藏」

    Sublime的中文GBK显示乱码的解决方法

    2022年2月5日
    49
  • 江门python培训机构

    江门python培训机构猿辅导接近完成新一轮融资:腾讯领投,估值75亿美元据路透社报道,知情人士称,在线教育平台猿辅导接近完成新一轮融资,估值约为75亿美元。本轮融资由腾讯控股公司和私募股权公司高瓴资本领投。对此,猿辅导向多知网表示“消息不准确”,暂未进一步说明。腾讯和高瓴资本均暂未对融资消息置评。教育部、财政部:实施教师在线教学能力提升行动教育部、财政部印发《关于做好2020年中小学幼儿园教师国家级培训计划组织实施工作的通知》。通知提出,实施教师在线教学能力提升行动,已经或计划开展在线教学的省(区、市),要通过线上培

    2022年6月9日
    47

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号