MaxCompute Studio使用心得系列3——可视化分析作业运行

MaxCompute Studio使用心得系列3——可视化分析作业运行

大家好,又见面了,我是全栈君。

上一篇写分享了通过MaxCompute Studio 编写sql脚本时“编译”功能带来的便捷,这次分享脚本编译好提交运行后,自助查看作业的执行情况。

我们很熟悉的是通过logview,去分析作业的执行情况,logview上有很详细的执行日志,而Studio不仅仅提供可视化的信息,还会明确给出一些分析结论如job是有否长尾或数据倾斜情况。

比如我写完一个sql脚本,编译成功

image

接着执行脚本,Studio自动打开当前job的执行详细信息页面,包括job基本信息列表、详情展示和分析区(执行计划图、时序图、分析等)

image

如上图,job执行失败:

  • 界面底部RUN日志中打出具体的错误信息。
  • 详情展示区默认显示执行计划图,可以看到子任务的依赖关系,双击每一个子任务节点图,可以展开更详细的信息。
  • 即使是失败的job,也可以切换到分析tab查看具体结论,如本次执行,job有长尾。

image

可以点击具体的长尾节点查看该节点的长尾图进一步分析,相关长尾调优可以参考文档计算长尾调优

修改好sql脚本,再执行,执行成功如下图:

image

成功的任务我们依然可以分析很多信息,比如查看那个任务task耗时热点:

image

点击下面的进度条可以回放整个job执行的过程

image

可以查看耗时最长的前10个节点

image

可以查看每个子任务执行过程所有fuxi instance各种I/O信息:

image

同样的可以看到分析信息,看是否还有可优化的点。

怎么样,这样看日志是不是感觉更容易理解了呢!

对了,MaxCompute Studio也有用户钉钉支持群:

image

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/108028.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • python游戏代码200行_python 贪吃蛇

    python游戏代码200行_python 贪吃蛇python语言,总所周知是比较简单的,而且代码也不会像java那样多,下面就使用python的第三方库pygame进行开发一个贪吃蛇游戏。1.pygame的安装直接在cmd当中使用pipinstallpygame进行安装。或者在pycharm当中自动导入安装也OK2.全局变量的定义在代码当中会使用到很多这种变量的值,直接在最开始进行定义,后面获取变量即可W=600#屏幕宽H=400#高fps=12#帧率size=(W,H)ROW=

    2022年8月11日
    10
  • connectionStrings字符串连接

    connectionStrings字符串连接以前在学校学习的时候,自己曾经做过一个项目再连接数据中。碰到了很多关于connectionStrings字符串连接问题。在那时自己的印象中,mdf数据库必须附加到sqlserver2005或2008等工具上才可以使用。今天才知道原来只要有数据库文件就行,没有必要附加上去。下面是连接字符串语句:<connectionStrings><addname=”…

    2022年5月21日
    32
  • R语言作图——density plot(密度图)

    R语言作图——density plot(密度图)原创黄小仙上次分享了小提琴曲线(violinplot)的作图方法,今天小仙同学给大家介绍一下如何用R画出漂亮的密度图(densityplot)。Step1.绘图数据的准备首先还是要把你想要绘图的数据调整成R语言可以识别的格式excel中保存成csv格式。数据的格式如下图:一列表示一种变量,第一行是列名Step2.绘图数据的读取data&amp;lt;-read.csv(“your…

    2022年10月16日
    3
  • vagrant up 网络问题

    vagrant up 网络问题

    2022年2月19日
    51
  • cjson创建数组「建议收藏」

    cjson创建数组「建议收藏」这里介绍如何使用cjson,创建一个含数组的json字串。例如下面的形式:{“UnixSocket”:[{“id”:0,”value”:10.0}]}干脆一些,直接上代码:intJsondata_Create_Json(char*pBuf,intid,i…

    2022年5月3日
    49
  • pycharm没有setting_pycharm怎么配置python环境变量

    pycharm没有setting_pycharm怎么配置python环境变量问题:pycharm无法加载pip3安装包报错:pythonpackingtoolsnotfound.installpackingtools通过卸载重装pip3都没有用解决方法:更新一下setuptools就好啦sudopip3installsetuptools–upgradesudopipinstallsetuptools–upgrade…

    2022年8月27日
    8

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号