王坚十年前的坚持,才有了今天世界顶级大数据计算平台MaxCompute

王坚十年前的坚持,才有了今天世界顶级大数据计算平台MaxCompute

如果说十年前,王坚创立阿里云让云计算在国内得到了普及,那么王坚带领团队自主研发的大数据计算平台MaxCompute则推动大数据技术向前跨越了一大步。

1240

数据是企业的核心资产,但十年前阿里巴巴的算力已经无法满足当时急剧增长数据量的需求。基于Hadoop搭建集群是当时解决大规模数据计算的主流方案,Hadoop生态已经比较成熟,而且在规模上也可以解决当时阿里遇到的性能瓶颈。但刚加入阿里的王坚却另辟蹊径,决定自研一个大数据计算平台,也就是今天的MaxCompute。

但王坚看到,当时淘宝的业务还在快速增长,如果用Hadoop搭建的计算平台会再次遇到挑战,更别提为外部企业提供算力。

也正是因为这一坚持,才有了今天EB级的大数据计算平台MaxCompute。过去十年,MaxCompute打破了多个记录:2013年,突破了单集群内5000台服务器同时计算的局限,如今单集群已超过1万台的规模;2015年,打破计算界奥运会SortBenchmark的4个世界纪录,用不到7分钟便完成了100TB的数据排序,刷新了ApacheSpark 23.4分钟的纪录;2017年成为全球首个100TB规模Bigbench测试通过的大数据计算平台。

1240

如今MaxCompute已经成为众多企业和机构算力的来源,为众安保险、墨迹天气、协鑫光伏、千寻位置、华大基因、人人车等各行业企业数字化转型提供了强大的算力。例如,墨迹天气使用MaxCompute后,开发效率提升超过5倍,存储和计算费用节省了70%,每天处理分析2TB的日志数据,更高效的赋能其个性化运营策略;此外,MaxCompute还支撑城市大脑自动指挥城市路口信号灯,并且成功应用于杭州、澳门、吉隆坡等国内外多个城市的交通治理。

从全球范围来看,拥有自研大数据计算平台的科技公司也只有阿里云、Google和亚马逊几家。但倘若当初没有王坚的坚持和远见,恐怕今天许多互联网公司,也难以享受到MaxCompute带来的红利。

MaxCompute产品官网 https://www.aliyun.com/product/odps

 


本文作者:晋恒

原文链接

本文为云栖社区原创内容,未经允许不得转载。

转载于:https://my.oschina.net/u/3827390/blog/3037663

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/100980.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • laravel 开发api(里的繁体字)

    本例子使用Laravel5.2版本这里记录的是较为灵活的方案,不考虑使用swaggervel,具体使用参考一下步骤:安装依赖swagger-phpcomposer require zircote/swagger-php创建SwaggerControllerphp artisan make:controller SwaggerController在Swa

    2022年4月15日
    47
  • A_A010_01 常用串口调试助手安装使用

    A_A010_01 常用串口调试助手安装使用A010常用串口调试助手安装使用一、 软件下载二、 SSCOM安装使用三、 STC-ISP串口助手使用四、 安信可调试助手安装使用五、 注意事项一、 软件下载SSCOM串口助手网盘链接提取码:nztnSTC-ISP网盘链接提取码:zrsq安信可串口助手网盘链接提取码:r935二、 SSCOM安装使用1、免安装,直接用,生成快捷方式到左面即可2、使用配置三、 STC-ISP串口助手使用配置方式都类似四、 安信可调试助手安装使用1、免安装,直接用,生成快捷方式到桌面即

    2022年5月29日
    71
  • 黑马程序员—只要路对,不怕路远——寂寞中蔓延着成功路途[通俗易懂]

    黑马程序员—只要路对,不怕路远——寂寞中蔓延着成功路途[通俗易懂]文章来源:黑马程序员,黑马论坛

    2022年9月27日
    6
  • vue之解决跨域问题[通俗易懂]

    vue之解决跨域问题[通俗易懂]同源策略:http协议、主机名、端口号都要相同。因为浏览器同源策略的影响,向后端服务器请求数据的时候,不能进行访问。可以采用代理服务器的方式,代理服务器:浏览器向一个相同同源策略的g代理服务器上请求资源,因为服务器之间没有同源策略,代理服务器就去找后端服务器请求资源,在返回给浏览器解决方法一:在根目录下新建vue.config.js文件,这里是js文件哈。module.exports={ lintOnSave:false,//取消格式化 devServer:{ proxy:

    2025年12月13日
    3
  • POENIX的BIOS报警声

    POENIX的BIOS报警声

    2021年7月24日
    62
  • 深度学习图像数据自动标注[通俗易懂]

    深度学习图像数据自动标注[通俗易懂]Tensorflow和Caffe等深度学习中,监督学习的数据标注是一件非常繁琐和耗时的工作,目前大多数公司都采用外包给标注公司进行处理,或者购买现有的数据集,使得进行深度学习研究的成本异常高。本文介绍一种以人工智能解决数据标注的思路和方法。一、思路步骤:1、以一个初步模型对小批量待标注数据进行检测,这里的初步模型可以是自己用少批量数据集训练出来的,也可以用网上公布的;2、对检测出来的结果进行人为干预纠正;3、把纠正后的数据训练新的模型;4、用新模型对中等批量待测数据进行检测;…

    2022年6月15日
    112

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号