亚博登陆界面-2016云栖大会|阿里云唐洪:飞天,向世界要一个答案

本文摘要:仅次于1500台机器的集群,经常因为一些bug被客户吐槽。

亚博网页版登陆界面

仅次于1500台机器的集群,经常因为一些bug被客户吐槽。当时阿里巴巴的很多数据处理任务都是在开源软件Hadoop系统上创建的。

这个集群大约有3000-4000台机器。【阿里巴巴集团技术委员会主席王建】但是,无论从安全性还是运营逻辑来说,Hadoop都不是为公共云计算而设计的。

Hadoop的存储和计算是集成的,也就是说,如果你需要十台机器的存储,而不是十台机器的计算能力,你仍然需要十台机器的集群,这是一种浪费。虽然问题等问题可以通过其他方法解决,但运营效率不会大幅降低。Hadoop的账号系统不是针对互联网租户的,更适合本地管理员。

这就要求它不能像现在的阿里巴巴云一样卖给互联网级别的用户。此外,Hadoop具有高度的灵活性,允许应用层用户对底层文件进行访问,没有很大的安全风险,也不可能以多租户共享的形式在公共云上运行。唐红告诉他,通过修补,Hadoop很难避免上述所有缺点。

更关键的问题是,阿里巴巴当时的业务增长率已经是无限的,Hadoop集群的计算能力也是无限的。一旦超过瓶颈,就要降低业务水平或者积极允许业务规模。在此之前,阿里巴巴曾多次试图用天妃取代Hadoop,但都以失败告终。阿里巴巴当时的CTO王健对所有阿里童鞋说,天妃应该分担这个任务,因为他心里有个计划,就是把天妃打造成5000台服务器的集群。

这个当时很多同事嘲笑的可怕想法是“5K”。从1500到5000,从某种程度上来说,再买3500台很简单。唐红说:摩尔定律预见了计算机硬件性能随时间的指数增长。

从杨的1500台机器到5000台新机器,计算能力降低了8到10倍。对于任何熟悉软件工程规律的人来说,在短短的半年时间内提升构建如此大跨度软件的能力是一个不可能的挑战。然而,天妃知道他做到了。世界上有相当多的公司可以负担5000台服务器,但是如果他们真的有自己的技术来调度这么大规模的集群,他们可以一只手数一数。

为什么阿里巴巴云要建一个5000台机器的集群?唐红告诉他,对于阿里巴巴来说,许多计算任务不能被废弃,必须在计算集群中完成。有了如此大量的相关数据,有必要将如此多的机器放在一个集群中进行协作分析。

在2012年底的CEO会议上,有人明确提出依靠Hadoop。但最终,首席执行官们要求两种方式一起回去,即Hadoop和飞行。但在我看来,这种决策转移了技术力量。但是当时根据团队里的模拟结果,我很清楚超过5K已经不是架构设计的问题,而是一个打磨产品细节的过程。

但是其他部门的同事可能不会这样指出。这样两条路一起转回去,技术力量会大大分流,所以5K需要比一天早做,可以比一天结束早辩。

他说。2013年8月15日是唐红脱口而出的日子。这一天,事实证明王健、唐红、天妃是对的。5K集群在线,两个5K集群同时在线。

亚博登陆界面

在阿里巴巴的云起镇,矗立着一座5K的雕像。这座雕像比预期的要小,但并不能阻止它充满理想的质感。很多路过的人都会停下来看。

【阿里云浅水镇天妃5K雕像】唐红告诉他(微信官方账号:)Hadoop集群在突破4000机集群后不会遇到不可逾越的瓶颈。如果当时阿里巴巴是自由选择依赖Hadoop系统的话,这样低的业务是不会遇到计算性能的“悬崖”的,后果无法想象。

就像波音的747飞机,英特尔的x86芯片,SpaceX的火箭,所有最好的构造都来自于拼了老命。唐红叹了口气。“不要吃自己的狗粮。

”我忘了2012年或者2013年我们开始校招的时候,清华北大来试听的学生很少,就算有很多学生拿到了我们的Offer,他们的第一志愿也不会是百度和腾讯。唐红把这个悲伤的事实当作笑话讲了出来。

在今年的阿里巴巴之星试听中,唐红回答了学生们关于他为什么选择免费来阿里巴巴云的问题,并得到了“阿里巴巴云在云计算技术方面处于领先地位”的问题。他非常简单地描述了飞天:单个集群中有1万台服务器,全世界有几十万台服务器,数据平台每天处理高达1TB的数据。然而,他真的无法解释天妃的实力。

亚博网页版登陆界面

真正令人信服的是,阿里巴巴“不吃自己的狗粮”,也就是说,它还包括淘宝天猫等一些最重要的业务,还包括计算量惊人的“双十一”,所有这些业务都由天妃管理。也就是说,阿里巴巴本身也在为其他客户使用完全一样的云服务,没有任何特权和区别。“我坚信,一些国内竞争对手自己的服务身份还没有在他们获得的云上运行完。

”他说。让阿里巴巴云自豪的一个数据是,中国37%的网站都是建立在阿里巴巴云上的。我们的预测是,未来世界上可能只有几台“计算机”,全部由超大规模计算集群组成。这时候计算能力就不会完全和平了。

如果唐红的预期成为现实,那么当时对“肚皮箱石头”的计算也不会得出比现在更接近真正凶手的解的结论。也许有一天我们会找到一个准确的答案,但毫无疑问,机器必然会朝着准确的答案迈出一小步,这是人的荣耀。求世界解答。

阿里巴巴云每年都会在大本营杭州召开云起会议,公布阿里巴巴云和天妃的最新进展。在今年的大会上,马云公开发表了激情演讲。原来的机器生产不会变成人工智能。原来的机器不吃电,未来的机器不吃数据。

马云说。可见机器学习和人工智能是天妃的下一步棋。对于人来说,岔路口背后的岔路口,自由选择背后的自由选择,让我们感到看似的不安。

为了应对世界的命运,我们发明了云计算,我们发明了人工智能。无论对唐红还是天妃来说,这些不计其数的运行芯片和无数网络中的无尽潮流只有一个目的:向世界寻求答案。允许禁止发表的原创文章。

以下是发布通知。

本文关键词:亚博网页版登陆界面,亚博登陆界面

本文来源:亚博网页版登陆界面-www.th-iwate.com

相关文章