王坚十年前的坚持，才有了今天世界顶级大数据计算平台MaxCompute

全栈程序员-站长 • 2021年7月4日下午10:00 • 未分类 • 阅读 75

2019独角兽企业重金招聘Python工程师标准>>>

如果说十年前，王坚创立阿里云让云计算在国内得到了普及，那么王坚带领团队自主研发的大数据计算平台MaxCompute则推动大数据技术向前跨越了一大步。

1240

数据是企业的核心资产，但十年前阿里巴巴的算力已经无法满足当时急剧增长数据量的需求。基于Hadoop搭建集群是当时解决大规模数据计算的主流方案，Hadoop生态已经比较成熟，而且在规模上也可以解决当时阿里遇到的性能瓶颈。但刚加入阿里的王坚却另辟蹊径，决定自研一个大数据计算平台，也就是今天的MaxCompute。

但王坚看到，当时淘宝的业务还在快速增长，如果用Hadoop搭建的计算平台会再次遇到挑战，更别提为外部企业提供算力。

也正是因为这一坚持，才有了今天EB级的大数据计算平台MaxCompute。过去十年，MaxCompute打破了多个记录：2013年，突破了单集群内5000台服务器同时计算的局限，如今单集群已超过1万台的规模；2015年，打破计算界奥运会SortBenchmark的4个世界纪录，用不到7分钟便完成了100TB的数据排序，刷新了ApacheSpark 23.4分钟的纪录；2017年成为全球首个100TB规模Bigbench测试通过的大数据计算平台。

1240

如今MaxCompute已经成为众多企业和机构算力的来源，为众安保险、墨迹天气、协鑫光伏、千寻位置、华大基因、人人车等各行业企业数字化转型提供了强大的算力。例如，墨迹天气使用MaxCompute后，开发效率提升超过5倍，存储和计算费用节省了70%，每天处理分析2TB的日志数据，更高效的赋能其个性化运营策略；此外，MaxCompute还支撑城市大脑自动指挥城市路口信号灯，并且成功应用于杭州、澳门、吉隆坡等国内外多个城市的交通治理。

从全球范围来看，拥有自研大数据计算平台的科技公司也只有阿里云、Google和亚马逊几家。但倘若当初没有王坚的坚持和远见，恐怕今天许多互联网公司，也难以享受到MaxCompute带来的红利。

MaxCompute产品官网 https://www.aliyun.com/product/odps

本文作者：晋恒

原文链接

本文为云栖社区原创内容，未经允许不得转载。

转载于:https://my.oschina.net/u/3827390/blog/3037663

发布者：全栈程序员-站长，转载请注明出处：https://javaforall.net/100980.html原文链接：https://javaforall.net