MaxCompute Studio使用心得系列3——可视化分析作业运行

MaxCompute Studio使用心得系列3——可视化分析作业运行

大家好,又见面了,我是全栈君。

上一篇写分享了通过MaxCompute Studio 编写sql脚本时“编译”功能带来的便捷,这次分享脚本编译好提交运行后,自助查看作业的执行情况。

我们很熟悉的是通过logview,去分析作业的执行情况,logview上有很详细的执行日志,而Studio不仅仅提供可视化的信息,还会明确给出一些分析结论如job是有否长尾或数据倾斜情况。

比如我写完一个sql脚本,编译成功

image

接着执行脚本,Studio自动打开当前job的执行详细信息页面,包括job基本信息列表、详情展示和分析区(执行计划图、时序图、分析等)

image

如上图,job执行失败:

  • 界面底部RUN日志中打出具体的错误信息。
  • 详情展示区默认显示执行计划图,可以看到子任务的依赖关系,双击每一个子任务节点图,可以展开更详细的信息。
  • 即使是失败的job,也可以切换到分析tab查看具体结论,如本次执行,job有长尾。

image

可以点击具体的长尾节点查看该节点的长尾图进一步分析,相关长尾调优可以参考文档计算长尾调优

修改好sql脚本,再执行,执行成功如下图:

image

成功的任务我们依然可以分析很多信息,比如查看那个任务task耗时热点:

image

点击下面的进度条可以回放整个job执行的过程

image

可以查看耗时最长的前10个节点

image

可以查看每个子任务执行过程所有fuxi instance各种I/O信息:

image

同样的可以看到分析信息,看是否还有可优化的点。

怎么样,这样看日志是不是感觉更容易理解了呢!

对了,MaxCompute Studio也有用户钉钉支持群:

image

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/108028.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • POJ2392 SpaceElevator [DP]

    POJ2392 SpaceElevator [DP]

    2022年1月24日
    45
  • lmdb安装_Vim下载

    lmdb安装_Vim下载lmdb安装在pip和conda环境中都有,但是不能导入

    2022年9月28日
    2
  • 可以搜课程设计的网站_课程设计论文格式

    可以搜课程设计的网站_课程设计论文格式1.主要功能:展示各种类型的作文。普通用户的登录注册和管理员用户登录。可以精确或模糊按照作文题目搜索。还有分页功能,首页、尾页、上一页、下一页。返回顶部等等很多功能。普通用户登录:发表作文,管理自己的作文,管理自己账号。管理员用户登录:发表作文,管理所有的作文,管理所有账号。数据库用的是sqlserver。丰富精美的css、js效果。2.效果截图:登录/注册没登录时的基础首页普通用户:左边的侧边栏可以随意显示隐藏。管理员:3.项目文件截图:

    2025年6月14日
    3
  • 7000词汇这么背我比较可以接受,连续看20天足以[通俗易懂]

    7000词汇这么背我比较可以接受,连续看20天足以[通俗易懂]
    16天记住7000考研词汇(第一天)

    1.WithmyownearsIclearlyheardtheheartbeatofthenuclearbomb.
    我亲耳清楚地听到原子弹的心脏的跳动。
    2.Nextyearthebeardedbearwillbearadearbabyintherear.
    明年,长胡子的熊将在后方产一头可爱的小崽.
    3.EarlyIsearchedthr

    2022年8月24日
    7
  • make wildcard_其在古文中的用法

    make wildcard_其在古文中的用法
    在Makefile规则中,通配符会被自动展开。但在变量的定义和函数引用时,通配符将失效。这种情况下如果需要通配符有效,就需要使用函数“wildcard”,它的用法是:$(wildcardPATTERN…)。在Makefile中,它被展开为已经存在的、使用空格分开的、匹配此模式的所有文件列表。如果不存在任何符合此模式的文件,函数会忽略模式字符并返回空。需要注意的是:这种情况下规则中通配符的展开和上一小节匹配通配符的区别。
    一般我们可以使用“$(wildcard*.c)”来获取工作

    2025年8月25日
    1
  • Dreamweaver2021中文版 附安装教程

    Dreamweaver2021中文版 附安装教程当我们访问网站的时候看到的每一个页面都是前端程序员开发的,如果没有一款好的软件则会让开发效率大大降低,那么有没有一款高效的前端开发软件呢?推荐大家使用Dreamweaver2021,这是adobe旗下的一款非常受欢迎的网页设计软件,是该系列的全新版本,可以帮助广大学生、程序员制作出精美的网页,比如简洁的百度首页,复杂的淘宝页面,你都可以通过它让你游刃有余的制作出来。该软件可以帮助用户了解以及编辑HTML、CSS、Web、xml、json,各种前端语言都支持编码输入,还支持快捷键快速输入一大段代码,减少你重复

    2022年6月4日
    40

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号