MaxCompute Studio使用心得系列3——可视化分析作业运行

MaxCompute Studio使用心得系列3——可视化分析作业运行

大家好,又见面了,我是全栈君。

上一篇写分享了通过MaxCompute Studio 编写sql脚本时“编译”功能带来的便捷,这次分享脚本编译好提交运行后,自助查看作业的执行情况。

我们很熟悉的是通过logview,去分析作业的执行情况,logview上有很详细的执行日志,而Studio不仅仅提供可视化的信息,还会明确给出一些分析结论如job是有否长尾或数据倾斜情况。

比如我写完一个sql脚本,编译成功

image

接着执行脚本,Studio自动打开当前job的执行详细信息页面,包括job基本信息列表、详情展示和分析区(执行计划图、时序图、分析等)

image

如上图,job执行失败:

  • 界面底部RUN日志中打出具体的错误信息。
  • 详情展示区默认显示执行计划图,可以看到子任务的依赖关系,双击每一个子任务节点图,可以展开更详细的信息。
  • 即使是失败的job,也可以切换到分析tab查看具体结论,如本次执行,job有长尾。

image

可以点击具体的长尾节点查看该节点的长尾图进一步分析,相关长尾调优可以参考文档计算长尾调优

修改好sql脚本,再执行,执行成功如下图:

image

成功的任务我们依然可以分析很多信息,比如查看那个任务task耗时热点:

image

点击下面的进度条可以回放整个job执行的过程

image

可以查看耗时最长的前10个节点

image

可以查看每个子任务执行过程所有fuxi instance各种I/O信息:

image

同样的可以看到分析信息,看是否还有可优化的点。

怎么样,这样看日志是不是感觉更容易理解了呢!

对了,MaxCompute Studio也有用户钉钉支持群:

image

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/108028.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • MariaDB 10.5 与 MySQL Server 8.0 的区别

    MariaDB 10.5 与 MySQL Server 8.0 的区别子查询中应用不同一 查询结果集的列 在子查询的查询结果集表不同这个是我用到的表 CREATETABLE c num day day num int 11 NOTNULL PRIMARYKEY day num USINGBTREE INSERTINTO asd380 c num day day num VALUES 1 INSERTINTO asd380 c num day day num VALUES 2 INS

    2025年8月2日
    6
  • kafka–核心技术篇

    kafka–核心技术篇kafka生产者、broker原理及操作的深入讲解

    2022年6月26日
    25
  • 7、多协议配置以及dubbo协议详解

    7、多协议配置以及dubbo协议详解提供者指定协议:<dubbo:protocolname=”dubbo”port=”20880″/><dubbo:protocolname=”rmi”port=”1099″/><!–使用dubbo协议暴露服务–><dubbo:serviceinterface=”com.alibaba.hello.api.HelloService”version=”1.0.0″ref=”helloService”protoc

    2022年6月19日
    42
  • 【OpenCV】双线性插值法

    【OpenCV】双线性插值法双线性插值法定义:又称双线性内插。在数学上,双线性插值是有两个变量的插值函数的线性插值扩展,其核心思想是在两个方向上分别进行一次线性插值。对于一个目的像素,设置坐标通过反向变换得到的浮点坐标为(i+u,j+v)(其中i、j均为浮点坐标的整数部分,u、v为浮点坐标的小数部分,是取值[0,1)区间的浮点数),则这个像素得值f(i+u,j+v)可由原图像中坐标为(i,j)、(…

    2022年6月10日
    484
  • 计算机病毒教学评课,计算机病毒评课稿.pdf

    计算机病毒教学评课,计算机病毒评课稿.pdf计算机病毒评课稿教学对象及学情分析:本课主要是针对高一计算机学生。他们能够自主完成一定的操作,但对于信息安全没有足够的认识,此时这方面的知识和技能正是学生感兴趣的,同时也是学生必须得掌握的。二、教学目标。(1)知识目标:掌握计算机病毒的概念和如何发现计算机病毒,熟悉计算机病毒的传染途径和危害性,知道如何防治计算机病毒。(2)能力目标熟悉并掌握一些杀毒软件的使用方法如360杀毒、瑞星等,并且当…

    2022年5月10日
    42
  • Java面试之 OOAD & UML

    Java面试之 OOAD & UMLJava面试之 OOAD & UML

    2022年4月22日
    38

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号