咸阳网站开发,wordpress 文章页面怎样全屏显示,微信公众平台开发工具,佛山外贸网站建设流程我是个幸运的人。虽然幸运不能被复制#xff0c;但是眼光和努力可以。 关涛/关老板#xff0c;80后的阿里P10#xff0c;阿里巴巴通用计算平台负责人#xff0c;阿里巴巴计算平台研究员。12年职场人生#xff0c;微软和阿里的选择。 关涛的花名取自谐音#xff1a;观涛。…我是个幸运的人。虽然幸运不能被复制但是眼光和努力可以。 关涛/关老板80后的阿里P10阿里巴巴通用计算平台负责人阿里巴巴计算平台研究员。12年职场人生微软和阿里的选择。 关涛的花名取自谐音观涛。有种看海观涛的闲适但在MaxCompute技术团队里因为团队既要做核心技术也要“落地拿结果”承担阿里云的客户规模和营收像一个小的创业公司因此大家更喜欢叫他”关老板”一下子就世俗亲近了起来。 关老板是个北方人大高个也带着些书生气。因为工作的关系带领着一支跨国团队两岸四地奔波太平洋两岸北京、杭州、西雅图、加州说话间偶尔喜欢中英文match一下。 “我是一个兴趣驱动型的人职业生涯总的来说还算挺幸运的做自己感兴趣的事情走上IT这一行……” 如果有认识关涛的人应该会忍不住说上一句这家伙运势太好了吧。 一路保送没考过什么试大学选择计算机的原因也很任性喜欢玩游戏。研究生毕业后就进入了微软是微软最年轻的技术管理者之一后来去了阿里云不到3年时间已经是P10阿里巴巴通用计算平台MaxCompute团队负责人。 “特别久以前大概初中的时候有了自己的第一台电脑大名鼎鼎的486带一个数学协处理器主频266MHz内存有4MB。” 喜欢玩游戏的都知道往往会碰见有些关卡比较难闯不过去的情况。当时的关涛就想着怎么能够绕开系统这些设置于是查了很多杂志也看了很多书试图去改游戏存档那个阶段他第一次知道什么是十六进制也是最初接触编程。 最后自己折腾着操纵游戏角色大杀四方简直无敌。让程序按照自己的意愿运行的感觉“嘿还好玩的。” 于是开始觉得这个专业计算机不错。到了高中毕业的时候因为数学竞赛被保送到南开大学当时的一个选择是可以进数学系南开的王牌专业但最后关涛还是因为兴趣选择了计算机。人生的分叉口有很多有时候做了第1个选择后面的路都会开始相通看似顺势而为其实都是选择的结果。 *从200公里的北京到8000多公里的西雅图 工作需要定期make a little change* 2006年关涛毕业了。这意味他要开始自己的职业生涯了他有些跃跃欲试。 研究生的3年因为导师有额外要求不能去实习这让关涛对于招聘市场并不那么了解对于微软同样是“没有太多的认知”。但北京有个MSRA微软亚洲研究院据说是当时最好的RDCenter。 抱着试试看的心态经历了一整天的面试后关涛顺利地拿到了offer。 他回忆“好像也不是那么难”。 在离家乡河北承德200公里远的北京关涛一呆就是6年是微软Bing搜索北京团队最初的几十个人之一。从偏存储层到计算层在项目里不断地去充实自己。他是个兴趣驱动的人但在工作中愿意变成完美主义者。 在微软的第一个项目是做一个分布式KVObjectStore系统用于支持Bing搜索的图片和视频存储。2006年还没有Hbase这样的开源系统当时6个人的小团队完全手写一套分布式KV最终部署在3000台机器并支持正常线上流量在实战中接触到了分布式系统中的各种挑战也学到了非常多的东西。“这个项目是个好的机会与开始”。 第二个项目是做搜索后台的IndexGen Pipeline一个定制化的存储与计算系统用于支持通用搜索100B级别的超大规模数据存储和处理后来这个搜索后台也成为了微软Bing搜索后台的第二代架构并服务至今。 再后来就是牵头来做大数据上交互式查询JetScopeOn Cosmos最后基本微软一半以上的团队都在用这个系统。 在关涛看来不管是生活还是职业发展定期去make a little change是很好的选择保持新鲜感的同时能看到学到更多的东西。从被别人带着写代码、到自己独立负责一些板块再到自己带项目小组、带大一点的技术团队这些都需要有一个自我时间界定把握自己的发展节奏。 6年微软后他也准备make a bigger change申请去了美国西雅图的微软总部。 8000多公里以外的城市冬天不太冷夏天不太热还有他最爱的单板滑雪以至于一直坚持在每年的最后一天自驾去不同的滑雪地。 在美国期间关涛继续深入做交互式查询、StructuredData优化推动等也积累了很多跨国技术团队管理的经验。 “美国有近40年的历史团队成员比北京的团队更资深一些在美国能够看到不一样的人看到不一样的项目。” 而在微软的10年时间里关涛也关注到了国内以BAT为代表的本土企业他们发展的很好而且有更高的加速度…… *西雅图分部第22号员工 10年后的回归面对更多的挑战*“当时海外办公室刚建起来我是阿里西雅图分部的第22号员工。” “在微软10年国内是什么情况”好奇心不断膨胀于是在一次偶然的机会关涛跳去了阿里成为了阿里巴巴通用计算平台MaxCompute团队里的一员。这是2016年1月。 MaxCompute的前身是ODPS阿里内部统一的大数据平台目前99%的数据存储以及95%的计算能力都在这个平台上产生如果把阿里巴巴集团的数据体系比作航母战斗群那么MaxCompute就是中间的航空母舰。 面对这样一个已经发展了近6年的相对成熟、体量极为庞大的平台挑战非常多。而2016年1月入职阿里2016年年会上就接过了MaxCompute的掌舵者位置从0到1已经做完了如何做到从1到10留给关涛的时间并不多。 他认为大型系统逐步发展是一个不断自我进化的过程大数据系统也不例外。 微软的经历给了他一些帮助包括同样都是大数据引擎规模上有较大差异之前的技术和工程经验都能复用。而丰富的跨国技术团队管理经验也让关涛更加适应阿里的工作。 *从MaxCompute1.0到MaxCompute2.0 “我们是在飞行的飞机上换引擎”* 关涛回忆“当时进来的时候MaxCompute1.0 其实是在一个技术的成熟期上承接了阿里巴巴内部和阿里云的核心业务而引擎升级有技术风险和问题我们称为Regression包括功能和性能的。为了保证对上层透明我们先做了一个框架升级支持把引擎的不同版本同时部署在线上一点一点地把流量切过来同时观察效果。”之后再进行引擎层面的大手术。 有点像是“在飞行的飞机上换引擎”。 如今的MaxCompute2.0相较于1.0版本规模达到近10万台性能提升超过1倍以上每年为阿里巴巴节省预算超过20亿同时也让阿里的大数据引擎可以在未来3-5年架构上有个相对好的布局。 技术团队如何管理 关涛的看法是技术管理者归根结底还是一个管理者。 1、首先考虑的不是自己要做什么事情而是帮助团队做什么事情更多的有一种“利他”的责任感。 2、技术前瞻性技术团队管理者是要带着团队有目标地、正确地往前走把握未来方向非常重要。 3、招聘层面思考如何招到合适的人如何进行人才布局。现在是人才在哪办公地点就在哪的阶段。从大数据角度看阿里双十一 要支持好双十一先从两个统一说起数据统一和资源统一。 数据具有11大于2的特性不同的数据融合计算能产生更大的价值。而关键就在于如何把数据都打通。 几年前阿里巴巴建设中台把内部所有的数据放在一起物理上分布在多地的近10万台服务器上但逻辑上统一数据的分布和调度对用户透明让丰富的数据帮助产品、业务前进。 资源的统一化把所有机器放在一个大的资源池里内部称为混布项目资源调度系统打通对于机器的效率优化和整个系统的容灾都有非常大的帮助。 做大数据的都了解数据可以3年翻5倍机器却不行否则成本太高不现实。而利用已有的服务器进行混合部署“这也是近一年我们重点投资的一个项目也就是把不同BU、不同种类的机器部署在同一个资源池中。”   有了这两个统一架构的前提双十一在洪峰来临的时候可以选择把不那么重要的工作先停掉在百万级别的作业中基于优先级和依赖做调度让这些机器都用来支撑洪峰。洪峰过后又把机器主力转移到计算上把需要的计算尽快地输出来。 今年双十一大数据集群在流量洪峰最高的几个小时通过弹性支持了超过1/4的交易业务流量。 不增加棋子仅依靠挪动棋盘上的子就完成布局守住将军。当然在此之前团队把MaxCompute已经从1.0版本切到了2.0版本性能的提升也是支持双十一数据量的关键。 在硬件只增加不到三分之一的基础上处理数据相较去年翻了一番达到单日处理600PB的规模。可以说MaxCompute在这一战役中发挥得不错甚至比去年更为优秀。   **未来云化、新硬件、非结构化计算、非关系型计算、AI是趋势 DBA或将被淘汰** 去年的时候原阿里云总裁胡晓明说“互联网的云计算竞争是世界寡头经济的全面竞争在我看来就是杭州和西雅图的竞争。谁拥抱技术谁就拥抱未来。”场主深以为然。 关涛认为目前云计算已经从互联网企业向传统企业蔓延例如杭州的城市大脑和“最多跑一次“项目是2GTo Government的项目。还有基于工业大脑的工业4.0项目等。 从目前的市场态度来看企业或许可以更加开放一些欢迎和拥抱这种技术变化完成自我的数字化转型。“云计算不会是寡头反而会是普惠”关涛说。   前瞻话题大数据处理领域未来程序员应该关注什么东西1、 新硬件的发展 计算层面越来越与新硬件的创新紧密结合硬件会带来平台革命。例如芯片类的CPUAVX、SIMD、ARM众核架构、GPUFPGAASIC存储类的NVM、SSD、SRM网络类的智能网卡和RDMA等新硬件的发展新硬件与软件的配合是值得关注的发展方向。2、 非关系型计算领域图计算有很多机会 大数据现在还是在关系型的处理层面包括流和批都是基于关系型数据的计算事实上现在非关系的计算越来越流行了包括知识图谱、画像等越来越有价值这些数据组织不是关系型表达而是以点边的形式用图的方式表达更符合物理抽象比如人和货的关系在风控层面知识图谱层面用来描述物理实体的关系更合适。 明年初将会推出MaxCompute的图计算系统MaxGraph支持图存储、查询、模式匹配和GraphEmbedding等机器学习运算。3、 非结构化数据将变成大数据的主流 越来越多的短视频、图片、语音类数据并随着IoT的发展可能占据80%的数据量由于这类数据的特性在于结构各不相同且数据非常大但是单位价值不高相比传统结构化数据如何快速高效的解析和处理非结构化数据是计算平台的关键挑战。 去年的时候MaxCompute发布了一个非结构化数据处理模块能够用户自定义的方式处理包括视频音频在内的数据。4、 Al for Everythingalso for BigData DBA或将被淘汰 大数据的特点是大不仅仅是包括数据的处理规模还包括了整个的海量数据的管理和优化。传统数据库领域依靠DBA人力去管理的模式将不再适用。 用Al优化数据分布、数据管理、做计算优化和成本优化例如自动SubQuery合并智能索引建立等。“让大数据无人驾驶”这也是未来的趋势。   注想了解更多关老板和MaxCompute技术团队小伙伴在做的阿里巴巴大数据计算服务MaxCompute可以加入社群一起交流。 原文链接 本文来自养码场专访转发需养码场授权。