王坚十年前的坚持,才有了今天世界顶级大数据计算平台MaxCompute

王坚十年前的坚持,才有了今天世界顶级大数据计算平台MaxCompute

如果说十年前,王坚创立阿里云让云计算在国内得到了普及,那么王坚带领团队自主研发的大数据计算平台MaxCompute则推动大数据技术向前跨越了一大步。

1240

数据是企业的核心资产,但十年前阿里巴巴的算力已经无法满足当时急剧增长数据量的需求。基于Hadoop搭建集群是当时解决大规模数据计算的主流方案,Hadoop生态已经比较成熟,而且在规模上也可以解决当时阿里遇到的性能瓶颈。但刚加入阿里的王坚却另辟蹊径,决定自研一个大数据计算平台,也就是今天的MaxCompute。

但王坚看到,当时淘宝的业务还在快速增长,如果用Hadoop搭建的计算平台会再次遇到挑战,更别提为外部企业提供算力。

也正是因为这一坚持,才有了今天EB级的大数据计算平台MaxCompute。过去十年,MaxCompute打破了多个记录:2013年,突破了单集群内5000台服务器同时计算的局限,如今单集群已超过1万台的规模;2015年,打破计算界奥运会SortBenchmark的4个世界纪录,用不到7分钟便完成了100TB的数据排序,刷新了ApacheSpark 23.4分钟的纪录;2017年成为全球首个100TB规模Bigbench测试通过的大数据计算平台。

1240

如今MaxCompute已经成为众多企业和机构算力的来源,为众安保险、墨迹天气、协鑫光伏、千寻位置、华大基因、人人车等各行业企业数字化转型提供了强大的算力。例如,墨迹天气使用MaxCompute后,开发效率提升超过5倍,存储和计算费用节省了70%,每天处理分析2TB的日志数据,更高效的赋能其个性化运营策略;此外,MaxCompute还支撑城市大脑自动指挥城市路口信号灯,并且成功应用于杭州、澳门、吉隆坡等国内外多个城市的交通治理。

从全球范围来看,拥有自研大数据计算平台的科技公司也只有阿里云、Google和亚马逊几家。但倘若当初没有王坚的坚持和远见,恐怕今天许多互联网公司,也难以享受到MaxCompute带来的红利。

MaxCompute产品官网 https://www.aliyun.com/product/odps

 


本文作者:晋恒

原文链接

本文为云栖社区原创内容,未经允许不得转载。

转载于:https://my.oschina.net/u/3827390/blog/3037663

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/100980.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • js 彻底理解回调函数「建议收藏」

    一、前奏在谈回调函数之前,先看下下面两段代码:不妨猜测一下代码的结果。functionsay(value){alert(value);}alert(say);alert(say(‘hijs.’));如果你测试了,就会发现:只写变量名say返回的将会是say方法本身,以字符串的形式表现出来。而在变量名后加()如say()返回的就会使say方法调用后的结果,这里

    2022年4月4日
    54
  • ov7670图像传感器_cmos图像传感器封装

    ov7670图像传感器_cmos图像传感器封装注释:配置方法由其他博文复制整理而来,不是个人原创,感恩原作者 图像传感器(sensor)概述: 现在用的传感器主要有两种:一种是CCD,另一种是CMOS,现在主流的是CMOS对于CCD传感器,其输出的是带制式的模拟信号,需要经过视频解码后得到数字信号对于CMOS传感器,其直接输出数字信号,可以直接与控制器连接 像素部分 那么对于像素部分,我们常常听到30万像素,…

    2022年9月16日
    0
  • IC卡、ID卡及车库蓝牙卡的复制说明!(小区的门禁系统)[通俗易懂]

    IC卡、ID卡及车库蓝牙卡的复制说明!(小区的门禁系统)[通俗易懂]IC卡、ID卡及车库蓝牙卡的复制说明!(小区的门禁系统)

    2022年5月29日
    132
  • 决策树原理及使用_虹吸原理图解

    决策树原理及使用_虹吸原理图解1.树模型和线性模型的区别树形模型是一个一个特征进行处理线性模型是所有特征给予权重相加得到一个新的值2.什么是决策树所谓决策树,就是一个类似于流程图的树形结构,树内部的每一个节点代表的是对一个特征的测试,树的分支代表该特征的每一个测试结果,而树的每一个叶子节点代表一个类别。树的最高层是就是根节点。下图即为一个决策树的示意描述,内部节点用矩形表示,叶子节点用椭圆表示。3.学习过程**特征选择:**特征选择是指从训练数据中众多的特征中选择一个特征作为当前节点的分裂标准,如何选

    2022年9月4日
    2
  • 浮点数的二进制表示

    浮点数的二进制表示

    2021年9月15日
    59
  • 认识零拷贝[通俗易懂]

    认识零拷贝[通俗易懂]注意事项(1)零拷贝的含义是数据不从内核空间拷贝到用户空间,也不从用户空间拷贝到内核空间(2)零拷贝完全依赖操作系统,操作系统提供了就是提供了,没有提供就没有提供,java本身做不了任何事情传统的IO拷贝需求java读取磁盘上的文件,并且输出出去。这个过程包含两个步骤,一个是读,一个是写图片解读三列分别为用户空间、内核空间、硬件(1)read()syscall…

    2022年9月21日
    0

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号