MaxCompute Studio使用心得系列3——可视化分析作业运行

MaxCompute Studio使用心得系列3——可视化分析作业运行

大家好,又见面了,我是全栈君。

上一篇写分享了通过MaxCompute Studio 编写sql脚本时“编译”功能带来的便捷,这次分享脚本编译好提交运行后,自助查看作业的执行情况。

我们很熟悉的是通过logview,去分析作业的执行情况,logview上有很详细的执行日志,而Studio不仅仅提供可视化的信息,还会明确给出一些分析结论如job是有否长尾或数据倾斜情况。

比如我写完一个sql脚本,编译成功

image

接着执行脚本,Studio自动打开当前job的执行详细信息页面,包括job基本信息列表、详情展示和分析区(执行计划图、时序图、分析等)

image

如上图,job执行失败:

  • 界面底部RUN日志中打出具体的错误信息。
  • 详情展示区默认显示执行计划图,可以看到子任务的依赖关系,双击每一个子任务节点图,可以展开更详细的信息。
  • 即使是失败的job,也可以切换到分析tab查看具体结论,如本次执行,job有长尾。

image

可以点击具体的长尾节点查看该节点的长尾图进一步分析,相关长尾调优可以参考文档计算长尾调优。

修改好sql脚本,再执行,执行成功如下图:

image

成功的任务我们依然可以分析很多信息,比如查看那个任务task耗时热点:

image

点击下面的进度条可以回放整个job执行的过程

image

可以查看耗时最长的前10个节点

image

可以查看每个子任务执行过程所有fuxi instance各种I/O信息:

image

同样的可以看到分析信息,看是否还有可优化的点。

怎么样,这样看日志是不是感觉更容易理解了呢!

对了,MaxCompute Studio也有用户钉钉支持群:

image

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/108028.html原文链接:https://javaforall.net

赞 (0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • ReleaseCapture 以及 SetCapture 函数 及其应用

    ReleaseCapture 以及 SetCapture 函数 及其应用ReleaseCapture以及SetCapture函数及其应用

    2022年6月6日
  • oracle数据库添加用户至dba_oracle取消用户dba权限

    oracle数据库添加用户至dba_oracle取消用户dba权限首先用管理员身份进入数据库SQLPLUSSYSTEM/密码sqlplussystem/diwaycom创建用户CREATEUSER用户名IDENTIFIEDBY密码;createuserdiwayidentifiedbydiwaycom;将刚创建的用户解锁ALTERUSER用户名ACCOUNTUNLOCK/LOCK;Alteruserdiwayaccount…

    2022年9月26日
  • jenkins demo //TODO「建议收藏」

    jenkins demo //TODO「建议收藏」mkdir-p/var/jenkins_mountchmod777/var/jenkins_mountdockerrun-d-p9091:8080-p9092:50000-v/var/jenkins_mount:/var/jenkins_mount-v/etc/localtime:/etc/localtime-v/usr/share/apache-maven/apache-maven-3.8.1:/usr/local/maven–namejenkinsjenk

    2022年6月2日
  • 如何测试网站打开速度(网站访问速度)

    检测网站打开速度的5个方法网页载入速度对于一个网站来讲很关键,Google已经将一个网站的载入速度列入了网站关键字排名的考虑因素当中,也就是说如果你的网站有足够的内容,而且载入速度比别人的网站更快一步的话,那么你就是获得更好的排名。那么下面就赶快测试你的网站,提高网站访问速度吧。1:用Ping命令简单测网站速度的方法Ping可以用来检查网络是否通畅或者网络连接速度,点击开始→运行在运行中输…

    2022年4月18日
  • QQ zone_qq上表白小技巧

    QQ zone_qq上表白小技巧终极QQ-ZONE技巧也就是盗他人QQ-ZONE的代码!首先:打开别人QQ空间的网址,通用的啊!呵呵!网址是:http://q-zone.qq.com/fcg-bin/cgi_access_self.fcg?uin=*******&type=0(******代表别人QQ号码)打开的了吗?看到了什么!呵呵!成功的第一步啦!打开的是个XML文件,别人的每个自定义板块ID和位置信息都在这里显示()

    2022年10月31日
  • Linux — Makefile的学习笔记以及多级目录下Makefile的编写

    Linux — Makefile的学习笔记以及多级目录下Makefile的编写一、Make简介:工程管理器,顾名思义,是指管理较多的文件,Make工程管理器也就是个“自动编译管理器”,这里的“自动”是指它能够根据文件时间戳自动发现更新过的文件而减少编译的工作量,同时,它通过读入Makefile文件文件的内容来执行大量的编译工作,Make将只编译改动的代码文件,而不用完全编译。Makefile文件一般和项目的其他源文件放在同一个目录下。在机器上可以同时存在许多不同的m…

    2022年6月6日

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号