百度飞桨弯道超车了吗?!

事情是这样的...

前不久,小夕注意到了一份来自权威评测机构IDC发布的《2020年下半年深度学习平台市场份额报告》:

▲IDC:2020年中国深度学习平台市场综合份额top 5

立刻惊了!印象里百度飞桨三年前还只是一个低调、小而美的深度学习框架,如今咋一跃成为中国市场份额第二的深度学习平台了呢??

2019年排在第三:

▲IDC:2019年中国深度学习平台市场综合份额top 6

当时的小夕一度觉得前面的Tensorflow和Pytorch两座大山虽然各有利弊,但也都着实能打,一时半会很难有第三者插足两者的竞争。

万万没想到的是,仅仅一年的时间,百度飞桨就超越了Facebook成为市场份额第二的深度学习平台,这简直比当年Pytorch吞食Tensorflow的市场份额还要疯狂。

回想一下,Pytorch当年为什么能在短时间内迅速从Tensorflow口中夺食并与之分庭抗礼?

一种流行的说法是“因为Pytorch选对了动态图,在易用性上强刺了Tensorflow一刀。”

小夕倒觉得这仅仅是表面。听起来Pytorch的成功有很大运气成分,但“选对了动态图”、“API简洁好用”、“debug真舒服”的背后,围绕的关键词都是“门槛”,或者往大的方面讲,叫“用户体验”。

ps: 真的不要以为程序员一个个都是追求“黑框”、“复古”,有受虐倾向的“极客”。在深度学习平台产品问题上,请把他们定义为“用户”。

追求极致的用户体验和无限下沉的使用门槛,放在任何一个产品里都是不过时的,深度学习平台也是一样。

那百度飞桨又是做对了什么?

“多机多卡训练简直不要太好用!”
“部署太容易了~”
“能训超大规模模型。。。”
“超多免费课程、直播、教程、文档资料...”
“难以想象深度学习可以不写代码...”
“从AI想法到实际应用的最快速度,没有之一”
...

与前面Pytorch一样,这些表象的背后,依然紧紧围绕着“门槛下沉”、“用户体验”。单独的每一点都不足以支撑百度飞桨弯道超车,但这些点连成线、铺成面后,所制造的能量远远不低于Pytorch凭借动态图带来的用户体验革新。

用一句话说,Pytorch和飞桨都革新了用户体验,前者靠的是动态图一针见血,后者则是全产品线围绕用户体验全面革新。

贴一张飞桨的全景图:

关注小屋的大都是专业的AI开发者,飞桨在大家的印象里就是个深度学习框架。实际上,飞桨如今已经构建起了自己的产品全景图,相比Pytorch而言,飞桨已经将门槛从专业的AI开发者下沉到了业余从业者、普通的AI爱好者、甚至中小学生群体!

对这些群体而言,即使是动态图功成名就的Pytorch,对他们来说也用起来太痛苦、门槛太高了。可以说,从pip install pytorch到看得见摸得着的AI应用,也就差了一本高数教材、一门线性代数、一门概率统计、一门数据结构与算法、一门python和一门C++、一门机器学习、一门优化理论、一门深度学习、一个3天入门计算机视觉和72小时入门自然语言处理的培训班了。

让飞桨完成这一轮用户体验革新的,首先是一个全新蜕变的 high-level 深度学习框架。飞桨框架不仅面向专业开发者,而且还囊括了大众使用者,这背后离不开其中的high-level设计理念。此外,CV、NLP模型库,端到端的开发套件,企业版AI开发平台以及今年5月20号新发布的框架V2.1版“动静统一”特性,多端多平台推理部署工具链等,均围绕用户体验展开升级,这也成为了飞桨份额在国内一举超越的关键点。

high-level的深度学习框架

实现强化学习?实现多任务学习?实现神经架构搜索?联邦学习?图神经网络?

每一项深度学习前沿、热门话题若使用深度学习框架的底层算子实现,均有极其庞大的代码量,且很容易出错,从头手撸对绝大多数开发者而言很不现实,只能到处复制粘贴啃开源磨原理。

哪怕是Tensorflow中内置Keras这种操作,也仅仅是将op的操作粒度提升至layer level,对于诸如强化学习这种较为复杂的上层应用,一般不得不去借助第三方high-level框架。

然而,对飞桨用户来说,哪怕是初级的AI开发者,甚至是业余的AI爱好者,都可以轻松玩遍这些热门话题!靠的就是一套基于飞桨框架封装而成的high-level框架,或者说一套工具组件。

比如神经架构搜索有AutoDL、强化学习有PARL、多任务学习有PALM、联邦学习有PaddleFL、图神经网络有PGL...甚至还有听名字就很高大上的量子机器学习框架Paddle Quantum和生物计算框架PaddleHelix!

而在深度学习热门应用的计算机视觉、NLP等方面更是有官方开源的模型库和端到端的开发套件,High-level的开发模式体验过后就再也回不去加减乘除矩阵计算了!

还能更上一层?

除了深度学习框架自身的蜕变外,还有更加high-level、在非专业开发者群体中耳熟能详的名字——EasyDL,以及全面刷新AI算法工程师开发体验的 BML

EasyDL

EasyDL可以看作是真正零门槛的深度学习high-level开发平台,无论是传统行业的企业用户、非科班出身的AI爱好者乃至无编程经验的中学生,都能通过EasyDL平台体验到将想法变成AI应用的顺畅感。

在EasyDL里,只要通过拖拽页面、鼠标点击、上传少量数据,就能快速定制一个深度学习模型。支持图像分类、物体检测、图像分割、文本分类、文本匹配、情感分析、实体抽取、语音识别等各类计算机视觉、自然语言处理和语音处理领域经典任务,如图所示:

在最繁琐的数据处理环节,EasyDL内置了智能数据服务EasyData,不仅在业界首个开放软硬一体端云采集方案,还支持智能标注与多人标注双管齐下,标注效率提升80%,并且在训练过程还支持自动数据增强,助力模型效果进一步提升。

而在模型设计、训练、评估等过程,完全无需代码,可以直接在网页中配置模型训练相关信息:

训练完成后,更是可以直接将模型“一键”部署到云端,获取云端调用的服务接口,或者打包为适配多种智能设备终端的离线SDK,让你训练的模型变成看得见摸得着的实际应用。

详细流程这里就不展开讲啦,感兴趣的小伙伴可以参考链接进行实践:
https://ai.baidu.com/ai-doc/EASYDL/3kccwnvy6

在飞桨的全景图中,与EasyDL类似的high-level的平台还有 BML全功能AI开发平台

BML

如果说EasyDL是为了把门槛降低到0,那么BML就是把门槛稍作提升的同时,大大提升操作的专业度、灵活性和功能的丰富度。前者可以类比为windows自带的画图工具,而后者则可以认为是Photoshop这种更为专业的开发工具。而无论EasyDL还是BML,都为开发者屏蔽了大量的深度学习框架层的技术细节,使得开发者可以更加专注在AI应用的开发,而不是繁琐的代码和底层原理细节里。

如图所示,BML与云端打通,可以按需使用云端计算资源,体验多机多卡分布式训练的快感。而在模型开发最为繁重的数据处理环节,BML同样内置了EasyData,极大的提升了数据处理与标注的效率,间接提升模型效果。

在最关乎应用效果的模型方面,BML则预置了百度超大规模视觉预训练模型、NLP预训练模型ERNIE 和若干帮助模型效果提升的微调技巧,同步支持PaddlePaddle、Tensorflow、Pytorch进行模型自定义。为了帮助专业开发者进行更好的二次开发和专业定制,BML还提供了全面超越原生Jupyter Notebook的云端开发环境。模型训练ready后,更是支持云服务部署、多平台多语言的本地服务器部署、设备端SDK部署等,打通模型到应用落地的最后一公里。

当然了,进阶一些的开发者也有模型定制化和深入理解的需求,BML中可以直接可视化到模型的网络结构,看到模型属性、节点信息、节点输入输出等专业信息。可以说将门槛下降到了极致的同时,还保留了专业性和灵活性。

▲BML中,一键可视化模型网络结构

这里给出BML的实践传送门,感兴趣的小伙伴可以自行体验:
https://ai.baidu.com/ai-doc/BML/Zkorya4bd

总之,BML与EasyDL一起满足着不同用户的需要,让深度学习不再是科班出身硕士博士的专利,成功打破壁垒,让深度学习、人工智能真正走进大众视野。深度学习框架层面,更是打破了专业开发的天花板,使得强化学习、多任务学习乃至前沿的量子计算、生物计算以一种high-level的方式展现给专业的开发者,使得复杂技术的研发也从此变得容易,使得专业开发者也能在不牺牲专业性和开发灵活性的同时,节约大量的开发成本。

在不久前的WAVE SUMMIT2021上,飞桨发布开源框架V2.1,包含了一系列的新发布和升级。

比如说升级了自定义算子功能,封装更简洁、训练和推理全打通、一键编译、安装并生成算子API,这些都让开发者能更专注于算子计算的本质,减少编写自定义算子的精力。分布式训练方面,发布大规模图检索引擎,能支持万亿边的图存储和检索。模型套件方面,文心ERNIE新开源发布 4大预训练模型,不光能理解语言,还可以理解图像,实现统一的跨模态语义理解。另外就是在部署上,提供了全面的推理部署工具链,还将百度自身 AI 技术的实践经验,做成了一张推理部署导航图供人参考,涵盖了 300 多条经过充分验证的部署通路!实打实的帮开发者打通AI应用的“最后一公里”。

开发上便捷灵活+应用上普适多元,飞桨一步步创造领先同行的深度学习开源能力。飞桨这一波弯道超车,可以说下足了功夫,为下一代深度学习平台打开了新的窗户。期待它登顶的那一天!

后台回复关键词【入群

加入卖萌屋NLP/IR/Rec与求职讨论群

后台回复关键词【顶会

获取ACL、CIKM等各大顶会论文集!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/478407.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

百度开源 FAQ 问答系统(AnyQ)安装---Linux(无docker)+小白编译AnyQ-dockerlinux[CentOs]

小白编译AnyQ-docker&linux[CentOs]——AnyQ系列之一https://blog.csdn.net/u011818766/article/details/104117469 原文链接:https://blog.csdn.net/qq_28385535/article/details/83213822 1.系统下载及环境安装 1.github地址:https://codeload.g…

美团点评酒旅数据仓库建设实践

在美团点评酒旅事业群内,业务由传统的团购形式转向预订、直连等更加丰富的产品形式,业务系统也在迅速的迭代变化,这些都对数据仓库的扩展性、稳定性、易用性提出了更高要求。对此,我们采取了分层次、分主题的方式,本文…

论文小综 | 文档级关系抽取方法(上)

本文作者:陈想,浙江大学在读博士,研究方向为自然语言处理张宁豫,浙江大学助理研究员,研究方向为自然语言处理、知识表示与推理1. 前言关系抽取(Relation Extraction, RE)是从纯文本中提取未知关系事实,是自…

LeetCode 621. 任务调度器(贪心)

1. 题目 给定一个用字符数组表示的 CPU 需要执行的任务列表。其中包含使用大写的 A - Z 字母表示的26 种不同种类的任务。任务可以以任意顺序执行,并且每个任务都可以在 1 个单位时间内执行完。CPU 在任何一个单位时间内都可以执行一个任务,或者在待命状…

磁盘I/O那些事

计算机硬件性能在过去十年间的发展普遍遵循摩尔定律,通用计算机的CPU主频早已超过3GHz,内存也进入了普及DDR4的时代。然而传统硬盘虽然在存储容量上增长迅速,但是在读写性能上并无明显提升,同时SSD硬盘价格高昂,不能在…

吴恩达发起新型竞赛范式!模型固定,只调数据?!

文 | 小戏打开 Kaggle ,琳琅满目的比赛让人目不暇接,研究的领域更是五花八门,从农林牧渔到衣食住行,似乎只要有数据,不论数据好坏,就可以直接使用各种机器学习的模型在其身上大展拳脚,从逻辑回归…

论文小综 | 文档级关系抽取方法(下)

本文作者:陈想,浙江大学在读博士,研究方向为自然语言处理张宁豫,浙江大学助理研究员,研究方向为自然语言处理、知识表示与推理这篇推文是文档级关系抽取方法的第二部分,前面的部分请移步推文“论文小综 | 文…

LeetCode 128. 最长连续序列(哈希set)

1. 题目 给定一个未排序的整数数组,找出最长连续序列的长度。 要求算法的时间复杂度为 O(n)。 示例:输入: [100, 4, 200, 1, 3, 2] 输出: 4 解释: 最长连续序列是 [1, 2, 3, 4]。它的长度为 4。来源:力扣(LeetCode) 链接&#…

清华姚班教师劝退文:读博,你真的想好了吗?

文 | 张焕晨编 | 琰琰源 | AI科技评论先简单介绍一下我的背景。我本科在University of Wisconsin-Madison,然后去CMU念了个PhD,主要研究数据库方向。目前回国在清华IIIS(姚班)做助理教授,并且 cofound 了Singularity D…

纠删码存储系统中的投机性部分写技术

本文已被USENIX’17年度技术大会录用,此处为中文简译版。 阅读英文论文完整版请点击:Speculative Partial Writes in Erasure-Coded Systems 多副本和纠删码(EC,Erasure Code)是存储系统中常见的两种数据可靠性方法。与…

论文浅尝 - EMNLP | 通过元强化学习实现少样本复杂知识库问答

笔记整理 | 谭亦鸣,东南大学博士生来源:EMNLP 2020链接:https://www.aclweb.org/anthology/2020.emnlp-main.469.pdf本文关注聚合型复杂知识图谱问答任务,这类复杂问题的答案通常需要经过一些集合操作得到,例如&#x…

写了一篇关于 NLP 综述的综述!

文 | 小轶综述,往往是了解一个子领域最为高效的起点。然而,对于AI这样一个日新月异高速发展的行业,时效性也自然地成为了我们选择综述的衡量指标之一。即使一篇 AI 综述具有超高 citation,如果它写于 20 年前,那对今天…

美团点评容器平台HULK的调度系统

本文是美团点评基础架构系列文章之一。这个系列将全面介绍支撑数亿用户、超千万日订单的美团点评平台诸多业务的公共基础架构相关技术。系列已经发布的文章包括: - 《分布式会话跟踪系统架构设计与实践》 - 《Leaf——美团点评分布式ID生成系统》 - 《深度剖析开源分…

论文浅尝 | 利用跨内和跨间信息的预训练实体关系编码器

笔记整理 | 朱珈徵,天津大学硕士链接:https://www.aclweb.org/anthology/2020.emnlp-main.132.pdf动机从自由文本中提取实体和关系是自然语言处理中的一项重要任务。它的目标是识别具有特定类型(实体)和这些实体(关系)之间的语义关系的文本。本文主要研究…

python的环境变量设置

程序和可执行文件可以在许多目录,而这些路径很可能不在操作系统提供可执行文件的搜索路径中。 path(路径)存储在环境变量中,这是由操作系统维护的一个命名的字符串。这些变量包含可用的命令行解释器和其他程序的信息。 Unix 或 Windows 中路径变量为 P…

LeetCode 76. 最小覆盖子串(滑动窗口)

1. 题目 给你一个字符串 S、一个字符串 T,请在字符串 S 里面找出:包含 T 所有字母的最小子串。 示例: 输入: S "ADOBECODEBANC", T "ABC" 输出: "BANC"说明: 如果 S 中不存这样的子串&#xff…

推荐一个可交互的 Attention 可视化工具!我的Transformer可解释性有救啦?

本文首发于微信公众号”夕小瑶的卖萌屋“文 | Sherry源 | 夕小瑶的卖萌屋视觉是人和动物最重要的感觉,至少有80%以上的外界信息是经过视觉获得的。我们看论文的时候,通过图表来确定文章的大致内容往往也是一个更高效的 说到深度神经网络的可视化&#xf…

python中字符串添加r的作用,原始字符串不发生转义

print(r’hello\nrunoob’) # 在字符串前面添加一个 r,表示原始字符串,不会发生转义 print(’\n’) # 输出空行 print(r’\n’) # 输出 \n \n

机器学习中模型优化不得不思考的几个问题

本文根据美团点评算法工程师胡淏4月22日在“携程技术沙龙”上的分享整理而成。文字综合了“携程技术中心”微信公众号的版本和胡淏本人在微博上发表的文章,并有少量编辑加工。 图1 机器学习工程师的知识图谱 图1列出了我认为一个成功的机器学习工程师需要关注和积累…

import 和from... import的作用,导入模块or导入函数

import 与 from…import 在 python 用 import 或者 from...import 来导入相应的模块。将整个模块(somemodule)导入,格式为: import somemodule从某个模块中导入某个函数,格式为: from somemodule import somefunction从某个模块中导入多个函…