MaxCompute Studio使用心得系列3——可视化分析作业运行

MaxCompute Studio使用心得系列3——可视化分析作业运行

大家好,又见面了,我是全栈君。

上一篇写分享了通过MaxCompute Studio 编写sql脚本时“编译”功能带来的便捷,这次分享脚本编译好提交运行后,自助查看作业的执行情况。

我们很熟悉的是通过logview,去分析作业的执行情况,logview上有很详细的执行日志,而Studio不仅仅提供可视化的信息,还会明确给出一些分析结论如job是有否长尾或数据倾斜情况。

比如我写完一个sql脚本,编译成功

image

接着执行脚本,Studio自动打开当前job的执行详细信息页面,包括job基本信息列表、详情展示和分析区(执行计划图、时序图、分析等)

image

如上图,job执行失败:

  • 界面底部RUN日志中打出具体的错误信息。
  • 详情展示区默认显示执行计划图,可以看到子任务的依赖关系,双击每一个子任务节点图,可以展开更详细的信息。
  • 即使是失败的job,也可以切换到分析tab查看具体结论,如本次执行,job有长尾。

image

可以点击具体的长尾节点查看该节点的长尾图进一步分析,相关长尾调优可以参考文档计算长尾调优

修改好sql脚本,再执行,执行成功如下图:

image

成功的任务我们依然可以分析很多信息,比如查看那个任务task耗时热点:

image

点击下面的进度条可以回放整个job执行的过程

image

可以查看耗时最长的前10个节点

image

可以查看每个子任务执行过程所有fuxi instance各种I/O信息:

image

同样的可以看到分析信息,看是否还有可优化的点。

怎么样,这样看日志是不是感觉更容易理解了呢!

对了,MaxCompute Studio也有用户钉钉支持群:

image

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/108028.html原文链接:https://javaforall.net

(0)
上一篇 2022年3月8日 下午3:00
下一篇 2022年3月8日 下午3:00


相关推荐

  • maven学习系列——(四)maven仓库

    这一篇学习和整理maven仓库的一些知识点!

    2022年2月25日
    64
  • NDT算法原理

    NDT算法原理NDT 算法原理算法提出原文 TheNormalDis ANewApproach FromIEEE 参考 https www cnblogs com 21207 iHome p 8039741 htmlNDT 是基于栅格化地图的算法 主要算法思路 基于 2D 场景将参考帧点云地图分为一个个小块 c

    2025年6月10日
    5
  • 自制STC12C5A60S2最小系统板

    自制STC12C5A60S2最小系统板一个单片机芯片没有烧录用户程序 它是不会工作的 但是 一个烧录了用户程序的单片机芯片 给它上电也不会工作 因为单片机能够工作的最小电路还包括时钟和复位电路 通常称之为单片机最小系统 时钟电路为单片机工作提供基本时钟 复位电路用于将单片机内部各电路状态恢复到初始值 STC12C5A60S2 系列单片机是宏晶科技生产的单时钟 机器周期 1T 的单片机 它是高速 低功耗 超强抗干扰的新一代 8051 单片机 指令代码完全兼容传统 8051 但速度快 8 12 倍 内部集成 MAX810 专用复位电路 2 路 PWM

    2026年3月26日
    2
  • FAE 之行小结

    FAE 之行小结本人在 FAE 的过程中的一些感悟 在即将转行之际作了一些小结 希望给初入 FAE 的同仁们一些认识 能帮助到大家在该岗位上能得心应手 1 担当的职责 FAE fieldapplica 其主要职责对应销售与客户接触 将客户的需求与本公司的产品所能实现的功能相结合 为客户提供解决解决方案 直到后期的现场调试及问题解决与反馈 在不同的阶段其充当的作用也有所不同

    2025年6月20日
    8
  • UReport2介绍

    UReport2介绍UReport2 介绍 UReport2 是一款基于架构在 Spring 之上纯 Java 的高性能报表引擎 通过迭代单元格可以实现任意复杂的中国式报表 在 UReport2 中 提供了全新的基于网页的报表设计器 可以在 Chrome Firefox Edge 等各种主流浏览器运行 IE 浏览器除外 使用 UReport2 打开浏览器即可完成各种复杂报表的设计制作 UReport2 是第

    2026年3月18日
    1
  • Depix:还原马赛克工具的试用及总结[通俗易懂]

    Depix:还原马赛克工具的试用及总结[通俗易懂]背景一周前发现git上有个叫Depix的项目非常火,可以用来去除马赛克。好奇之下准备下来试用一下这个工具参考:https://github.com/beurtschipper/Depix算法说明:https://www.linkedin.com/pulse/recovering-passwords-from-pixelized-screenshots-sipke-mellemaDeBruijn序列:https://damip.net/article-de-bruijn-sequence说

    2022年6月15日
    201

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号