王坚十年前的坚持,才有了今天世界顶级大数据计算平台MaxCompute

王坚十年前的坚持,才有了今天世界顶级大数据计算平台MaxCompute

如果说十年前,王坚创立阿里云让云计算在国内得到了普及,那么王坚带领团队自主研发的大数据计算平台MaxCompute则推动大数据技术向前跨越了一大步。

1240

数据是企业的核心资产,但十年前阿里巴巴的算力已经无法满足当时急剧增长数据量的需求。基于Hadoop搭建集群是当时解决大规模数据计算的主流方案,Hadoop生态已经比较成熟,而且在规模上也可以解决当时阿里遇到的性能瓶颈。但刚加入阿里的王坚却另辟蹊径,决定自研一个大数据计算平台,也就是今天的MaxCompute。

但王坚看到,当时淘宝的业务还在快速增长,如果用Hadoop搭建的计算平台会再次遇到挑战,更别提为外部企业提供算力。

也正是因为这一坚持,才有了今天EB级的大数据计算平台MaxCompute。过去十年,MaxCompute打破了多个记录:2013年,突破了单集群内5000台服务器同时计算的局限,如今单集群已超过1万台的规模;2015年,打破计算界奥运会SortBenchmark的4个世界纪录,用不到7分钟便完成了100TB的数据排序,刷新了ApacheSpark 23.4分钟的纪录;2017年成为全球首个100TB规模Bigbench测试通过的大数据计算平台。

1240

如今MaxCompute已经成为众多企业和机构算力的来源,为众安保险、墨迹天气、协鑫光伏、千寻位置、华大基因、人人车等各行业企业数字化转型提供了强大的算力。例如,墨迹天气使用MaxCompute后,开发效率提升超过5倍,存储和计算费用节省了70%,每天处理分析2TB的日志数据,更高效的赋能其个性化运营策略;此外,MaxCompute还支撑城市大脑自动指挥城市路口信号灯,并且成功应用于杭州、澳门、吉隆坡等国内外多个城市的交通治理。

从全球范围来看,拥有自研大数据计算平台的科技公司也只有阿里云、Google和亚马逊几家。但倘若当初没有王坚的坚持和远见,恐怕今天许多互联网公司,也难以享受到MaxCompute带来的红利。

MaxCompute产品官网 https://www.aliyun.com/product/odps

 


本文作者:晋恒

原文链接

本文为云栖社区原创内容,未经允许不得转载。

转载于:https://my.oschina.net/u/3827390/blog/3037663

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/100980.html原文链接:https://javaforall.net

(0)
上一篇 2021年7月4日 下午9:00
下一篇 2021年7月4日 下午10:00


相关推荐

  • killall使用

    killall使用Linux 系统中的 killall 命令用于杀死指定名字的进程 killprocesse 我们可以使用 kill 命令杀死指定进程 PID 的进程 如果要找到我们需要杀死的进程 我们还需要在之前使用 ps 等命令再配合 grep 来查找进程 而 killall 把这两个过程合二为一 是一个很好用的命令 1 命令格式 killall 参数 进程名 2 命令功能 用来结束同名的的所有进程 3 命令参数 Z 只杀死拥有 scontext 的进程 e 要求匹配进程名称 I 忽略

    2026年3月17日
    3
  • C语言3×3二维数组_什么是二维数组

    C语言3×3二维数组_什么是二维数组C语言目录C/C++学习资源(百度云盘链接)计算机二级资料(过级专用)C语言学习路线(从入门到实战)编写C语言程序的7个步骤和编程机制C语言基础-第一个C程序C语言基础-简单程序分析VS2019编写简单的C程序示例简单示例,VS2019调试C语言程序C语言基础-基本算法C语言基础-数据类型C语言中的输入输出函数C语言流程控制语句C语言数组——一维数组二维数组前面介绍了…

    2022年7月27日
    8
  • 服务器异常怎么解决_500服务器内部错误是什么原因

    服务器异常怎么解决_500服务器内部错误是什么原因http500内部服务器错误怎么办?现在有很多站长在建站的时候会遇到网站无法正常显示网页的问题,这些原因有很多,可能是域名解析除了问题,也可能是服务器不稳定,或者是http500内部服务器错误,http500内部服务器错误的意识就是你访问的网站服务器有问题,这里新网小编为大家介绍http500内部服务器错误怎么办。http500最可能的缘由是:该网站正在停止维护;该网站有…

    2022年8月12日
    9
  • 如何查看jdk版本号_jdk与tomcat版本

    如何查看jdk版本号_jdk与tomcat版本背景:最近有一个springboot项目要发布到很老的一台服务器上,该台服务器是XP200232位系统,并且springboot微服务需要连接服务器上的accessdb,因此需要有对应的jdk,看了看网上的查看JDK版本很多都不靠谱(中文技术网站都是相互抄袭),特地总结了一下:方法1:最基本的,下载jdk的时候应该知道自己下的什么版本,在安装jdk的时候就在安装目录里写清楚版本号以便将…

    2026年2月24日
    5
  • hibernate 二级缓存和查询缓存原理和关系「建议收藏」

    hibernate 二级缓存和查询缓存原理和关系「建议收藏」二级缓存和查询缓存都相当于一个map。二级缓存缓存的key为id,value为实体对象。一般load(),iterate()使用到二级缓存,list()需要结合查询缓存使用。iterate()和list()区别如下:iterate()不需要开启查询缓存,它首先发出一个sql如”selects.idfromStudents”去数据库把id属性列表取出来,然后再根据id列表一个一

    2022年5月23日
    37
  • 即梦AI创意灵感怎么获取_即梦AI灵感探索页面使用教程

    即梦AI创意灵感怎么获取_即梦AI灵感探索页面使用教程

    2026年3月13日
    3

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号