MaxCompute Studio使用心得系列3——可视化分析作业运行

MaxCompute Studio使用心得系列3——可视化分析作业运行

大家好,又见面了,我是全栈君。

上一篇写分享了通过MaxCompute Studio 编写sql脚本时“编译”功能带来的便捷,这次分享脚本编译好提交运行后,自助查看作业的执行情况。

我们很熟悉的是通过logview,去分析作业的执行情况,logview上有很详细的执行日志,而Studio不仅仅提供可视化的信息,还会明确给出一些分析结论如job是有否长尾或数据倾斜情况。

比如我写完一个sql脚本,编译成功

image

接着执行脚本,Studio自动打开当前job的执行详细信息页面,包括job基本信息列表、详情展示和分析区(执行计划图、时序图、分析等)

image

如上图,job执行失败:

  • 界面底部RUN日志中打出具体的错误信息。
  • 详情展示区默认显示执行计划图,可以看到子任务的依赖关系,双击每一个子任务节点图,可以展开更详细的信息。
  • 即使是失败的job,也可以切换到分析tab查看具体结论,如本次执行,job有长尾。

image

可以点击具体的长尾节点查看该节点的长尾图进一步分析,相关长尾调优可以参考文档计算长尾调优

修改好sql脚本,再执行,执行成功如下图:

image

成功的任务我们依然可以分析很多信息,比如查看那个任务task耗时热点:

image

点击下面的进度条可以回放整个job执行的过程

image

可以查看耗时最长的前10个节点

image

可以查看每个子任务执行过程所有fuxi instance各种I/O信息:

image

同样的可以看到分析信息,看是否还有可优化的点。

怎么样,这样看日志是不是感觉更容易理解了呢!

对了,MaxCompute Studio也有用户钉钉支持群:

image

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/108028.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • Academic social networks: Modeling, analysis, mining and applications 2019翻译

    Academic social networks: Modeling, analysis, mining and applications 2019翻译Academicsocialnetworks:Modeling,analysis,miningandapplications摘要:在快速增长的学术大数据背景下,社交网络技术最近引起了学术界和工业界的广泛关注。学术社会网络的概念正是在学术大数据的背景下产生的,指的是由学术实体及其关系形成的复杂的学术网络。有大量的学术大数据处理方法来分析学术社交网络丰富的结构类型和相关信息。现在各种学术数据都很容易获取,这让我们更容易分析和研究学术社交网络。本研究调查了学术社交网络的背景、现状和趋势。我们首先

    2022年6月1日
    32
  • 编程体系结构(08):Spring.Mvc.Boot框架

    编程体系结构(08):Spring.Mvc.Boot框架

    2020年11月20日
    242
  • pycharm搭建python环境_pycharm如何配置编译环境

    pycharm搭建python环境_pycharm如何配置编译环境1.安装python27双击执行python-2.7.15.msi,选择装到根目录,建议d:\Python27。一路下一步,直到完成。安装完成之后,打开cmd,输入:python,如果显示以下内容则说明安装python成功如果提示命令不存在则需要设置环境变量。windows:右键我的电脑–属性–高级系统设置–高级–环境变量–系统变量找到path项,加上值,D:\Python27;D:\P…

    2022年8月25日
    9
  • BBSSDK 产品分析

    BBSSDK 产品分析

    2021年6月8日
    108
  • 什么是pyc文件

    什么是pyc文件其实很简单,用python-mpy_compilefile.pypython-mpy_compile/root/src/{file1,file2}.py编译成pyc文件。也可以写份脚本来做这事:Code: importpy_compile  py_compile.compile(‘path’)//path是包括.py文件名的路径 用python…

    2022年6月17日
    40
  • 常用网络图片url地址「建议收藏」

    常用网络图片url地址「建议收藏」http://www.baidu.com/img/bdlogo.pnghttp://rongcloud-web.qiniudn.com/docs_demo_rongcloud_logo.png

    2022年7月1日
    315

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号