本篇文章1125字,读完约3分钟
王建是一个理想主义者。由于阿里巴巴云和城市大脑,很多人都很熟悉他,但很少有人知道他已经建立了一个世界级的大数据计算平台——max compute。
Maxcompute现在是世界领先的大数据计算平台,具有eb级数据规模,可以在6小时内处理100pb的数据,相当于1亿部高清电影。除了阿里巴巴云,世界上只有少数公司掌握了这种能力,比如谷歌和亚马逊。
但是十年前,大多数人不知道大数据是什么,它有什么用处。然而,王建已经看到了大数据的潜力,并在一大早就打起了开发大数据的旗号。
当时,阿里巴巴遇到了一个其他公司无法想象的问题。由于淘宝流量的爆炸性增长,行业中常用的hadoop集群不堪重负。
继续改进开源hadoop还是完全开发一套自己的大数据技术?
王健果断地选择了后者:自主开发的maxcompute!
他认为,阿里巴巴云想要做的事情可以被理解为亚马逊+谷歌,并被超越。要掌握大数据计算领域的前沿关键技术,不仅要做maxcompute,还要使其单个集群机数千甚至更多。
从2009年到2013年,阿里巴巴云面临的内部和外部纠纷最多,但王健在2013年8月15日将maxcompute的生产集群规模推至5000台。
这对阿里巴巴云(Alibaba Cloud)来说意义重大,它已经成为世界上第一家向外界提供5k计算能力的技术公司(目前,它已经在一个集群中实现了10000多台服务器),它的计算能力也取得了长足的进步,为未来的大规模服务奠定了基础。与此同时,这家公司也作为当时中国不可多得的力量站在了世界尖端技术的舞台上。
Maxcompute的计算能力像火箭一样飞速增长:
在2015年和2016年,阿里巴巴云计算一举创下六项世界纪录。
2017年,maxcompute在大数据计算能力方面取得了新的突破:将bigbench的数据规模扩大到100吨,并完成了全球首个公共云bigbench大数据基准测试。
2018年,由forrester出版的《forrester Wave TM:云数据仓库,2018年第四季度》中,阿里巴巴Cloud maxcompute、dataworks、adb等三款产品成功入选,在产品功能(当前产品)上击败微软,进入前七名。
很久以前,王健认为,由于互联网基础设施的存在,数据将像土地和石油一样成为生产资料。
阿里巴巴不仅依靠maxcompute来支持双十一的海量数据,为数据中心提供了坚实的基础,而且更多的外部中小企业只需几百元就可以分析海量数据,大大降低了技术的应用门槛。
回顾十年前,如果当时我们不坚定地投资maxcompute,恐怕淘宝和天猫都达不到现在的规模,更多的互联网公司将难以赶上数据爆发带来的业务红利。
来源:新浪直播网
标题:不仅是飞天,十年前王坚还打造了世界级大数据计算平台MaxCompute
地址:http://www.xuguangxin.com/xlglxw/22307.html