Yarn application has already exited with state FINISHED

Yarn application has already exited with state FINISHED

大家好,又见面了,我是全栈君。

如果在运行spark-sql时遇到如下这样的错误,可能是因为yarn-site.xml中的配置项
yarn.nodemanager.vmem-pmem-ratio值偏小,它的默认值为2.1,可以尝试改大一点再试。


ERROR cluster.YarnClientSchedulerBackend: Yarn application has already exited with state FINISHED!

16/10/13 10:23:19 ERROR client.TransportClient: Failed to send RPC 7614640087981520382 to /10.143.136.231:34800: java.nio.channels.ClosedChannelException

java.nio.channels.ClosedChannelException

16/10/13 10:23:19 ERROR cluster.YarnSchedulerBackend$YarnSchedulerEndpoint: Sending RequestExecutors(0,0,Map()) to AM was unsuccessful

java.io.IOException: Failed to send RPC 7614640087981520382 to /10.143.136.231:34800: java.nio.channels.ClosedChannelException

        at org.apache.spark.network.client.TransportClient$3.operationComplete(TransportClient.java:249)

        at org.apache.spark.network.client.TransportClient$3.operationComplete(TransportClient.java:233)

        at io.netty.util.concurrent.DefaultPromise.notifyListener0(DefaultPromise.java:680)

        at io.netty.util.concurrent.DefaultPromise$LateListeners.run(DefaultPromise.java:845)

        at io.netty.util.concurrent.DefaultPromise$LateListenerNotifier.run(DefaultPromise.java:873)

        at io.netty.util.concurrent.SingleThreadEventExecutor.runAllTasks(SingleThreadEventExecutor.java:357)

        at io.netty.channel.nio.NioEventLoop.run(NioEventLoop.java:357)

        at io.netty.util.concurrent.SingleThreadEventExecutor$2.run(SingleThreadEventExecutor.java:111)

        at java.lang.Thread.run(Thread.java:745)

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/108843.html原文链接:https://javaforall.net

(0)
上一篇 2022年2月21日 下午6:00
下一篇 2022年2月21日 下午6:00


相关推荐

  • Java一个汉字占几个字节(详解与原理)(转载)「建议收藏」

    Java一个汉字占几个字节(详解与原理)(转载)「建议收藏」背景:今天学习Netty做定长消息发送时,发现到UTF-8编码下的中文并非两个字节,是三个字节,omg~,遂翻了篇博客后才发现原来java中文对应的字节长度还有这么多说道,涨姿势了,咳咳~原文如下:忒长了,原文作者大大辛苦了,各位看官捡感兴趣的瞅,java新手遇到编码问题可看后面关于编码问题的说明,应该会有所收获~(啰嗦完了。。。)1、先说重点:不同的编码格式占字节数是…

    2022年4月19日
    106
  • 如何在Python中将列表转换为字符串?

    如何在Python中将列表转换为字符串?Pythonprovidesdifferentvariabletypeforprogrammersusage.Wecanuseint,float,string,list,set…datatypesinourapplications.Whileusingdifferenttypeofvariableswemayneedtoconvert…

    2022年4月30日
    96
  • C++ 如何判断一个数为回文数

    C++ 如何判断一个数为回文数如果一个数从左边读和从右边读都是同一个数 就称为回文数解答 思想最简单的方法就是模拟 把各个数位取出来 然后比较 当然这种方法比较麻烦 我们这次要用的方法如下 既然是回文数 那我们把各个数位上的数正着加起来跟逆着加起来的和是一样的 运用这条性质我们就可以很简单的解决这个问题 代码如下 include lt iostream gt usingnamespa

    2026年3月17日
    2
  • Linux服务器部署vue项目[通俗易懂]

    Linux服务器部署vue项目[通俗易懂]最近刚到新公司,正好之前没接触过这方面的东西。最初仅仅是猜想。最后也没想到Tomcat真的可以部署前端页面好,我先来。新建一个vue项目。//详细的怎么创建。我这里就不说了。vueinitwebpackvuetest得到的项目目录执行,npmrunbuild//进行打包操作当最后看到这样代表打包成功此时你可连接服务器。我这里用…

    2022年6月18日
    56
  • 跨境电商ERP店群管理系统源码支持二开,企业数据私有化部署

    跨境电商ERP店群管理系统源码支持二开,企业数据私有化部署标签:erp软件亚马逊跨境电商ERP跨境电商ERP,跨境电商erp系统:亚马逊erp,对接亚马逊、wish、ebay、速卖通、shopify、shopee虾皮、lazada等跨境电商平台。跨境电商ERP源码,跨境电商erp系统源码:亚马逊erp源码、wisherp源码、ebayerp源码、速卖通erp源码、shopifyerp源码、shopee虾皮erp源码、lazada来赞达erp源码。对接亚马逊、wish、ebay、速卖通、shopify、shopee虾皮、lazada等跨境电商平台源码,

    2026年1月31日
    6
  • idea2021永久激活码【中文破解版】

    (idea2021永久激活码)本文适用于JetBrains家族所有ide,包括IntelliJidea,phpstorm,webstorm,pycharm,datagrip等。IntelliJ2021最新激活注册码,破解教程可免费永久激活,亲测有效,下面是详细链接哦~https://javaforall.net/100143.html…

    2022年3月30日
    200

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号