Docker系列之二:基于容器的自动构建

自动构建系统是从美团的自动部署系统发展出来的一个新功能。每当开发人员提交代码到仓库后,系统会自动根据开发人员定制的构建配置,启动新的Docker容器,在其中对源代码进行构建(build),包括编译(如Java、C++和Go)、预处理(如Javascript和CSS)、压缩(如图片)等操作,生成最终需要上线的程序包。

美团的代码发布系统有中央控制节点,负责代码的拉取、应用的构建和上传等任务。随着业务的迅速增长,应用发布项的数目和单个发布项的服务器数量也随之增长,中控节点的任务加重,几个问题也变得亟待解决:

  • 不同应用的构建环境在同一个虚拟机上,需要解决环境冲突和隔离的问题
  • 多个应用同时构建会竞争发布机的CPU和IO资源,让构建变慢
  • 应用的构建脚本运行在公共发布机上,脚本的bug可能会影响到发布机的正常运行

例如某次主站(PHP)的发布速度非常慢,调查后发现当时某些Java应用正在编译,占用了大量CPU资源,导致其它应用的发布变慢。

为解决上述问题,我们设计了把应用的构建过程从中央发布机分离出来的方案,并利用Docker作为构建的基础环境。关于Docker的介绍,可以参考《Docker系列之一:入门介绍》这篇文章。

自动构建原理图

首先,开发人员在Stash上配置自动构建,之后的代码提交就会通知自动构建系统。自动构建系统收到通知,找到所有配置了该仓库的发布项,生成构建任务,并把这些任务提交到Django-rq队列。任务的主要配置是YAML格式的自动构建配置文件,该文件类似Dockerfile,但是为了使用方便,只支持少量的关键字,因此比Dockerfile使用更简单。通过该配置文件可指定构建容器使用的镜像,一些环境变量,以及构建命令等。系统从私有的Docker registry获取镜像,并根据YAML配置生成Docker容器,在此容器中完成构建。

从Stash触发自动构建的功能,是从这个项目修改实现的,只需简单配置即可启用自动构建。 Stash上的配置

构建成功的结果会自动上传到美团存储服务(Meituan Storage Service)。当发布人员发布时,就直接从MSS拉取构建好的应用包进行发布,省去了在发布时才进行的编译环节。

为什么用Docker?

为了达到隔离构建环境的目的,应用的构建可以在分别的美团云虚拟机上实现。但是,应用构建有一些特点让Docker在此场景更合适。首先,构建环境都是临时的,每次构建结束后就销毁(也可选择保留)。而我们内部使用的美团云虚拟机是和运维用的配置管理数据库(Configuration Management Database)关联的,新虚拟机会自动部署一些基础环境、监控报警项等,并注册进CMDB,而这些东西对自动构建的系统是多余的。第二,自动构建的系统启停频繁,Docker这样的轻量级容器可以更好地满足快速生成和销毁的需求。因此,自动构建系统是在美团云虚拟机里面运行的Docker容器中进行的。

自动构建很好地解决了文章开头提到的发布系统的三个问题:

  • 自动隔离不同应用的构建环境,无需担忧环境冲突的问题
  • 不同应用的构建容器不必运行在同一台虚拟机,可以分布在多虚拟机的集群上,避免了构建之间的资源竞争,让构建过程更加迅速
  • 任一应用构建的错误不会影响其它应用的构建或者中央发布机的运行

此外,自动构建还有如下两个好处。

首先,预先的主动构建把冗长的构建时间从发布过程省去,让发布人员在发布时耗时更短,既让发布更敏捷迅速,又提升了用户体验。美团在工作日每天的代码发布要上千次,快速的发布过程才能更好地保证业务的迭代过程。

其次,自动构建让构建环境的定制更方便。原来在发布机上构建时,如果需要的依赖在发布机上还没有,就需要给运维人员提需求来进行配置,这个过程不够敏捷。使用自动构建后,开发人员可自行在YAML格式的配置文件指定构建环境。前端开发人员的构建环境往往比较新,需要频繁改变环境,因此支持自定义依赖的自动构建系统受到了前端开发人员的欢迎。

自动构建目前是发布项配置里面的一个可选项,这保持了和原有系统的兼容。自动构建是美团在线上业务中首次使用Docker。我们会持续推进该特性在自动部署系统的使用,最终成为所有发布项的默认配置。

自动构建使用Docker的方式,为我们后续更广泛地使用Docker提供了启发。

第一,将Docker用于开发环境。通过Dockerfile描述测试环境,并维护起测试环境的Docker镜像,可以让开发人员快速搭起来一个统一的开发环境;再结合Vagrant,可以很好地解决研发团队中普遍存在的测试环境搭建麻烦的问题。

第二,将Docker用于应用部署。完成自动构建后,容器中已经有了应用程序包,再加上运行时依赖,即可让这个容器直接提供服务。

未来可以在应用的开发测试,编译构建,和部署运行等三个环节,都使用Docker容器。关于Docker在上述场景的应用,请关注我们博客的后续更新。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/477080.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

剑指Offer - 面试题56 - I. 数组中数字出现的次数(异或,分组)

1. 题目 一个整型数组 nums 里除两个数字之外,其他数字都出现了两次。请写程序找出这两个只出现一次的数字。 要求时间复杂度是O(n),空间复杂度是O(1)。 示例 1: 输入:nums [4,1,4,6] 输出:[1,6] 或 [6,1]示例 2&a…

自动驾驶技术简史

文 | Bernard_Han自动驾驶是一个最近在产业界炙手可热的关键词。无论是与人工智能相关的顶级会议还是各大造车厂商甚至各大投资商都为这个成长初期的蓝海产业下注了美好的未来。但是“汽车自动化”的理论与自动驾驶不同,提出至今已有近百年的历史。从最初的遥控到如…

你是什么时候对深度学习失去信心的?

文 | 霍华德源 | 知乎最近几天在知乎上有个问题火了:你是什么时候对深度学习失去信心的?在此推荐一下知乎大V霍华德的回答,以下为原回答。对于深度学习的现状,工业界还是很清楚的。如果没有变革性的突破,弱人工智能时代…

OpenTSDB 造成 Hbase 整点压力过大问题的排查和解决

业务背景 OpenTSDB 是一款非常适合存储海量时间序列数据的开源软件,使用 HBase 作为存储让它变的非常容易扩展。我们在建设美团性能监控平台的过程中,每天需要处理数以亿计的数据,经过几番探索和调研,最终选取了 OpenTSDB 作为数据…

LintCode 183. 木材加工(二分查找)

1. 题目 有一些原木,现在想把这些木头切割成一些长度相同的小段木头,需要得到的小段的数目至少为 k。当然,我们希望得到的小段越长越好,你需要计算能够得到的小段木头的最大长度。 样例 1 输入: L [232, 124, 456] k 7 输出: …

AC算法在美团上单系统的应用

1.背景 在美团,为了保证单子质量,需要对上单系统创建的每一个产品进行审核。为了提高效率,审核人员积累提炼出了一套关键词库,先基于该词库进行自动审核过滤,对于不包括这些关键词的产品信息不再需要进行人工审核。因此…

LintCode 600. 包裹黑色像素点的最小矩形(BFS)

1. 题目 一个由二进制矩阵表示的图,0 表示白色像素点,1 表示黑色像素点。 黑色像素点是联通的,即只有一块黑色区域。 像素是水平和竖直连接的,给一个黑色像素点的坐标 (x, y) ,返回囊括所有黑色像素点的矩阵的最小面积…

浙大、阿里提出DictBERT,字典描述知识增强的预训练语言模型

文 | 刘聪NLP源 | NLP工作站写在前面大家好,我是刘聪NLP。今天给大家带来一篇IJCAI2022浙大和阿里联合出品的采用对比学习的字典描述知识增强的预训练语言模型-DictBERT,全名为《Dictionary Description Knowledge Enhanced Language Model Pre-training…

LintCode 207. 区间求和 II(线段树)

1. 题目 在类的构造函数中给一个整数数组, 实现两个方法 query(start, end) 和 modify(index, value): 对于 query(start, end), 返回数组中下标 start 到 end 的 和。对于 modify(index, value), 修改数组中下标为 index 上的数为 value. 样例1 输入: [1,2,7,8,5] [query(0…

深入解析String#intern

在 JAVA 语言中有8中基本类型和一种比较特殊的类型String。这些类型为了使他们在运行过程中速度更快,更节省内存,都提供了一种常量池的概念。常量池就类似一个JAVA系统级别提供的缓存。 8种基本类型的常量池都是系统协调的,String类型的常量池…

想通这点,治好 AI 打工人的精神内耗

文 | 天于刀刀受到疫情影响,今年公司的校招生报道日还未到来,23 年的秋招提前批就已经是如火如荼地开展。而诸神黄昏算法岗,作为招聘中最靓眼的仔,简历门槛早已是硕士打底博士起步,项目竞赛多多益善的情况了。面临着今…

DHL

有句俗语谓:“不看不知道,一看吓一跳”,这次通过“中外运-敦豪”的一次快递,亲身感受到这种“吓一跳”的滋味。 MS 总部从 1 月 26 日寄出 MVP Award 快递包之后,在随后的电子邮件中给出了每个人的 DHL 快件追踪号&…

数据结构--树--线段树(Segment Tree)

文章目录1. 概念2. 建树3. 查询4. 修改5. 完整代码及测试上图 from 熊掌搜索 类似数据结构:树状数组 1. 概念 线段树是一种二叉树,是用来表示一个区间的树: 常常用来查询区间的:和、最小值、最大值树结点中存放不是普通二叉树的…

神经网络可视化有3D版本了,美到沦陷!(已开源)

源 |量子位做计算机视觉,离不开CNN。可是,卷积、池化、Softmax……究竟长啥样,是怎样相互连接在一起的?对着代码凭空想象,多少让人有点头皮微凉。于是,有人干脆用Unity给它完整3D可视化了出来。还不光是有个…

CentOS6上Hadoop集群中服务器cpu sys态异常的定位与解决

问题现象 在zabbix系统中,对Hadoop集群的历史监控数据分析时,发现在执行大Job任务时,某些服务节点的cpu sys态很高;具体以hadoop_A服务节点为例,在10:15-10:40这个时间段,cpu user态为60%,而sys…

偶也Blog了

欢迎大家和我交流…………转载于:https://www.cnblogs.com/dsclub/archive/2004/06/18/16753.html

LintCode 1692. 组队打怪(田忌赛马,二分查找)

1. 题目 你现在有n个英雄,每个英雄的战斗力为 atk1,你要用这些英雄去对付n个怪物,每个怪物的战斗力为atk2。 在一场战斗中,你需要安排每个英雄分别与一个怪兽战斗,如果英雄战斗力高于怪兽,那个怪兽就会被击杀&#xf…

谷歌搜索,全球宕机??

文 | 好困源 | 新智元忽然之间,谷歌搜索,挂了。美东时间周一晚上9点(北京时间周二早上9点)左右,有不少用户突然发现自己上不去谷歌了。对于这次谷歌的突然宕机,网友们完全没有任何的心理准备。「谷歌停止工…

.NET建模

.NET建模 Deborah Melewski, Jack Vaughan[2004/1/1] 建模和软件设计又将迎来新一波的高峰。UML和模型驱动架构MDA目前在业界越发引人注目,清晰地进行前置设计(design up front,译者注:这是过去批判得比较多的,是瀑布…

基于Flume的美团日志收集系统(一)架构和设计

背景 美团的日志收集系统负责美团的所有业务日志的收集,并分别给Hadoop平台提供离线数据和Storm平台提供实时数据流。美团的日志收集系统基于Flume设计和搭建而成。 《基于Flume的美团日志收集系统》将分两部分给读者呈现美团日志收集系统的架构设计和实战经验。 第…