资源 | Alibaba Cluster Data 开放下载：270 GB 数据揭秘你不知道的阿里巴巴数据中心...

戳蓝字“CSDN云计算”关注我们哦！


640?CSDN云计算授权转载自阿里系统软件技术

作者：临石

打开一篇篇 IT 技术文章，你总能够看到“大规模”、“海量请求”这些字眼。如今，这些功能强大的互联网应用，都运行在大规模数据中心上。然而，对于大规模数据中心，你又了解多少呢？


640?


实际上，除了阅读一些科技文章之外，得到关于数据中心的信息非常难得。数据中心每个机器的运行情况如何？这些机器上运行着什么样的应用？这些应用有什么特点？对于这些问题，除了少数资深从业者之外，普通学生和企业的研究者很难了解其中细节。


什么是 Alibaba Cluster Data?


那么，实施了一系列优化手段之后的计算机集群究竟是什么样子？混部的情况究竟如何？


为了让有兴趣的学生以及相关研究人员，可以从数据上更加深入地理解大规模数据中心，我们特别发布了这份数据集（Alibaba Cluster Data V2018）。数据集中记录了某个生产集群中服务器以及运行任务的详细情况。我们希望这波数据的发布可以拉近我们与学术研究、业界同行之间的距离。


在数据集中，你可以详细了解到我们是如何通过混部把资源利用率提高到 45%；我们每天到底运行了多少任务；以及业务的资源需求有什么特点。如何使用这份数据集，完全取决于你的需要。


这个数据可以做什么？


刚刚发布的 Alibaba Cluster Data V2018 包含 6 个文件，压缩后大小近 50GB（压缩前 270+GB），里面包含了 4000 台服务器、相应的在线应用容器和离线计算任务长达 8 天的运行情况。


通过这份数据，你可以：

  • 了解当代先进数据中心的服务器以及任务运行特点；

  • 试验你的调度、运筹等各种任务管理和集群优化方面的各种算法并撰写论文；

  • 利用这份数据学习如何进行数据分析，揭示更多我们自己都未曾发现的规律。


上面这几点，没有接触过类似数据的朋友，可能对于这份数据的用处并没有直观的印象，下面我举几个简单的例子：

  • 电商业务在白天和晚上面临的压力不同，我们如何在业务存在波峰波谷的情况下提高整体资源利用率？

  • 你知道我们最长的 DAG 有多少依赖吗？

  • 一个典型的容器存在时间是多久？

  • 一个计算型任务的典型存在时间是多少？一个 Task 的多个 Instance 理论上彼此很相似，但是它们运行的时间都一样吗？


实际上，学者们甚至可以用这些数据作出更加精彩地分析。2017年，我们开放的第一波数据（Alibaba Cluster Data V2017），已经产生了多篇优秀的学术成果。


以下是学者们在论文中引用数据（Alibaba Cluster Data V2017）的例子，其中不乏被 OSDI 这样顶级学术会议收录的优秀文章。我们期待，未来你也能与我们共同分享你用这份数据产生的成果！


"LegoOS: A Disseminated, Distributed OS for Hardware Resource Disaggregation, Yizhou Shan, Yutong Huang, Yilun Chen, and Yiying Zhang, Purdue University. OSDI'18" (Best paper award!）


640?


"Imbalance in the Cloud: an Analysis on Alibaba Cluster Trace, Chengzhi Lu et al. BIGDATA 2017"


640?

640?


"CharacterizingCo-located Datacenter Workloads: An Alibaba Case Study, Yue Cheng, Zheng Chai,Ali Anwar. APSys2018"


640?640?640?


"The Elasticity and Plasticity in Semi-Containerized Co-locating Cloud Workload: aView from Alibaba Trace, Qixiao Liu and Zhibin Yu. SoCC2018"


640?640?640?


Cluster Data V2018 更出色


DAG 信息加入：我们加入了离线任务的 DAG 任务信息，据了解，这是目前来自实际生产环境最大的 DAG 数据。


究竟什么是 DAG？离线计算任务，例如 Map Reduce、Hadoop、Spark、Flink 中常用的任务，都是以有向无环图（Directed Acyclic Graph，DAG）的形式进行编排的，其中涉及到任务之间的并行、依赖等方面。下面是一个 DAG 的例子。


规模更大：上一版数据包含了约 1300 台机器在约 24 小时的内容数据，而新版 Cluster Data V2018 中包括了 4000 台机器 8 天的数据。


数据获取方式：

https://github.com/alibaba/clusterdata/blob/v2018/cluster-trace-v2018/trace_2018.md


1.微信群：

添加小编微信：color_ld，备注“进群+姓名+公司职位”即可，加入【云计算学习交流群】，和志同道合的朋友们共同打卡学习！


2.征稿：

投稿邮箱：liudan@csdn.net；微信号：color_ld。请备注投稿+姓名+公司职位。



推荐阅读

  • 程序员怒了！阿里 Antd 圣诞彩蛋害我被离职了！

  • 云计算到底是怎么玩的？

  • 面向对象编程，再见！

  • AI女性界的“扛把子”，凭一己之力迫使NIPS改名

  • 00后也会「玩」区块链，你对「朝阳」行业焦虑啥 ？| 圣诞特辑

  • 20k~65k, 2018年最后一波热门技术岗位, 立刻投简历, 跳槽才是加薪的捷径

  • 可替代Android的6大开源移动操作系统

  • 程序员求助：被领导强行要求写Bug该怎么办？网友的回答让我笑翻


640?wx_fmt=jpeg

640?wx_fmt=gif点击“阅读原文”，打开 CSDN App 阅读更贴心！

640?wx_fmt=png喜欢就点击“好看”吧！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/525039.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

数组下标越界及小结

数组下标越界及小结

package com.wuming.struct;public class Demo09 {public static void main(String[] args) {int[] a{1,2,3,4,5,6,7,8};for (int i 0; i <a.length; i) {//去掉&#xff0c;下标越界&#xff0c;数组下标为[0&#xff0c;length-1]System.out.println(a[i]);}} }1 2 3 4 5…
阅读更多...
C语言 strcpy 和 strcpy_s 函数区别 - C语言零基础入门教程

C语言 strcpy 和 strcpy_s 函数区别 - C语言零基础入门教程

目录 一.strcpy_s 函数/strcpy 函数简介 1.strcpy 函数语法2.strcpy_s 函数语法 二.strcpy/strcpy_s 函数实战三.猜你喜欢 零基础 C/C 学习路线推荐 : C/C 学习目录 >> C 语言基础入门 一.strcpy_s 函数/strcpy 函数简介 1.strcpy函数语法 /* *描述&#xff1a;此类函…
阅读更多...
BugkuCTF-MISC题可爱的故事

BugkuCTF-MISC题可爱的故事

下载文件&#xff0c;打开两张图片 根据评论提示是原神里面的提瓦特字母 题目的提示说flag就藏在图片特殊文字里&#xff0c;还提到谷歌翻译&#xff0c;开始以为要把文字翻译成我们认识的&#xff0c;结果半天提取不出来文字&#xff0c;看了其他暗示&#xff0c;才知道这是类…
阅读更多...
漫画：如何实现大整数相乘？（下）

漫画：如何实现大整数相乘？（下）

戳蓝字“CSDN云计算”关注我们哦&#xff01;如何用程序实现大整数相乘呢&#xff1f;在上一篇文章 漫画&#xff1a;如何实现大整数相乘&#xff1f;&#xff08;上&#xff09; 当中&#xff0c;我们介绍了两种思路&#xff1a;1.像列竖式一样&#xff0c;把两整数按位依次相…
阅读更多...
成员变量（全局变量）和局部变量区别

成员变量（全局变量）和局部变量区别

1.成员变量&#xff08;全局变量&#xff09;在类中&#xff0c;方法外&#xff0c;可用修饰符修饰 2.局部变量在方法中&#xff0c;不可用修饰符修饰
阅读更多...
C语言 memcpy 和 strcpy 函数区别 - C语言零基础入门教程

C语言 memcpy 和 strcpy 函数区别 - C语言零基础入门教程

目录 一.memcpy 函数/strcpy 函数简介二.memcpy 函数/strcpy 函数实战 1.strcpy 函数属于字符串拷贝2.memcpy 函数属于内存拷贝 三.猜你喜欢 零基础 C/C 学习路线推荐 : C/C 学习目录 >> C 语言基础入门 一.memcpy 函数/strcpy 函数简介 C 语言在 string.h 中 strcpy 函…
阅读更多...
BugkuCTF-MISC题宽带信息泄露

BugkuCTF-MISC题宽带信息泄露

下载文件conf.zip&#xff0c;解压得出conf.bin 在端输入strings conf.bin没有flag 此题需要路由器配置文件查看工具RouterPassView 下载此工具 在终端输入wine RouterPassView.exe(wine即在linux系统里打开exe程序文件) 查找username 提交flag{053700357621}成功
阅读更多...
全世界的程序员们，为什么都不在意“穿衣”这档事？

全世界的程序员们，为什么都不在意“穿衣”这档事？

戳蓝字“CSDN云计算”关注我们哦&#xff01;十月份我去北京出差&#xff0c;来到后厂村走了一圈&#xff0c;想看看现实中的北京程序员是否真的像之前刷屏的《互联网公司时尚穿搭指南》中所述&#xff0c;存在“天然结界”。到的时候正好是午休时间&#xff0c;一下车就在某巨…
阅读更多...
C语言 memcpy和memcpy_s区别 - C语言零基础入门教程

C语言 memcpy和memcpy_s区别 - C语言零基础入门教程

目录 一.memcpy 和 memcpy_s 函数区别 1.语法对比 memcpy_s 函数语法memcpy 函数语法 2.memcpy 和 memcpy_s 相同点3.memcpy 和 memcpy_s 不同点 1.memcpy 函数报错&#xff1a;error C49962.memcpy 函数没有方法来保证有效的缓冲区尺寸&#xff0c;使用不安全 三.memcpy 和 …
阅读更多...
BugkuCTF-MISC题猫片

BugkuCTF-MISC题猫片

python知识点 ^是按位异或操作符 [::-1]能令列表反向 解题流程 题目提示&#xff1a;LSB BGR NTFS 下载之后就是一个叫png的文件&#xff0c;没有后缀&#xff0c;那么加后缀 打开Stegsolve直接就Analyse-----Data Extract&#xff0c;根据提示LSB,BGR,一顿尝试 发现了PN…
阅读更多...
等了20年的物联网，这次真的会成功吗？

等了20年的物联网，这次真的会成功吗？

戳蓝字“CSDN云计算”关注我们哦&#xff01;最近几年&#xff0c;物联网的概念非常火爆&#xff0c;和物联网相关的技术&#xff0c;例如NB-IoT、LoRa、eMTC等&#xff0c;都频繁地出现在我们的眼前&#xff0c;出现在新闻里&#xff0c;出现在展会上。其实&#xff0c;「物联…
阅读更多...
手把手教你数组反转

手把手教你数组反转

package com.wuming.struct;public class Demo12 {public static void main(String[] args) {int[] arrays{1,2,3,4,5};/* //JDk1.5&#xff0c;没有下标for (int array : arrays) {System.out.println(array);}*/// printArray(arrays);int[] reverse reverse(arrays);pri…
阅读更多...
BugkuCTF-MISC题妹子的陌陌

BugkuCTF-MISC题妹子的陌陌

下载图片 通过010editor查找并未发现有价值的信息 通过binwalk -e file.jpg分离出文件夹_file.jpg.extracted 里有91DC.rar&#xff0c;解压发现需要密码&#xff0c;通过爆破找不到密码 在file.jpg图片里有“喜欢我吗.”&#xff0c;将其输入到解压密码里 发现竟成功解压 得到…
阅读更多...
深入理解与应用Hadoop中的MapReduce

深入理解与应用Hadoop中的MapReduce

戳蓝字“CSDN云计算”关注我们哦&#xff01;作者&#xff1a;安静的技术控 来源&#xff1a;CSDN 原文&#xff1a;https://blog.csdn.net/a2011480169/article/details/52924955 版权声明&#xff1a;本文为博主原创文章&#xff0c;转载请附上博文链接&#xff01;现在大数据…
阅读更多...
手把手教你二维数组打印

手把手教你二维数组打印

package com.wuming.struct;public class Demo13 {//多维数组&#xff1a;特殊的以为数组//二维数组&#xff1a;int a[][]new int[a][b],当成一维数组打印public static void main(String[] args) {int[][] array{{1,2},{2,3},{3,4},{4,5}};for (int i 0; i < array.lengt…
阅读更多...
BugkuCTF-MISC题蜜雪冰城~

BugkuCTF-MISC题蜜雪冰城~

看txt&#xff0c;里面只有(0, 0, 0)和(255, 255, 255)&#xff0c;(0, 0, 0)是黑色&#xff0c;替换成1&#xff0c;(255, 255, 255)是白色&#xff0c;替换成0。 脚本&#xff1a; with open("你爱我呀我爱你.txt",) as f:with open("binary.txt",w) as…
阅读更多...
你好，请查收这封元旦祝福，CSDN云计算改版啦！

你好，请查收这封元旦祝福，CSDN云计算改版啦！

戳蓝字“CSDN云计算”关注我们哦&#xff01;◆ ◆ ◆ ◆2019新年快乐HAPPY NEW YEAR此时是2019年1月1日站在新一年的起跑线上最暖心的鼓励让2019更精彩祝福中&#xff0c;你步伐坚定&#xff0c;走向远方 ◆ ◆ ◆ ◆元旦快乐CSDN云计算的粉丝们&#xff1a;好消息&#xff01…
阅读更多...
Arrays类详细讲解

Arrays类详细讲解

package com.wuming.struct;import java.util.Arrays;public class Demo14 {public static void main(String[] args) {//Arrays数组类&#xff0c;操作数组&#xff1a;排序、搜索等int[] a{1,2,3,4,9090,31231,543,21,3,23};System.out.println("System.out.println(a);…
阅读更多...
C语言 数组定义和使用 - C语言零基础入门教程

C语言 数组定义和使用 - C语言零基础入门教程

目录 一.数组简介二.定义数组并初始化 1.定义数组2.初始化数组 三.访问数组四.修改数组五.猜你喜欢 零基础 C/C 学习路线推荐 : C/C 学习目录 >> C 语言基础入门 一.数组简介 在 C 语言中&#xff0c;一组数据的集合称为数组 Array &#xff0c;其实前面我们已经学习过…
阅读更多...
BugkuCTF-MISC题普通的二维码

BugkuCTF-MISC题普通的二维码

考点在八进制转字符串 下载文件file.zip解压得到一张二维码&#xff0c;扫描没有flag 通过010editor打开&#xff0c;在尾部有一串数字 字符串为&#xff1a; 14615414114717311014116614513717106012513712017113716314316215116016413711716414313712415713712414515613710…
阅读更多...
最新文章

Copyright @ 2022~2023