地平线机器人_地平线机器人CEO余凯：基于深度学习的自动驾驶之路

请关注公众号“汽车创新港”，获取后续更多论坛实录！

加工作人员微信号：tinydanio，备注“我要入群”直接进入直播群！

今天都是大牛，下面的也是技术大牛，是百度深度学习实验室创始人，百度自动驾驶的领导者余凯博士，他现在是自己创立了一家企业叫地平线机器人，也是在做自动驾驶，他演讲的主题是“基于深度学习的自动驾驶之路”，大家鼓掌欢迎。
    余凯：刚才英伟达张总的报告非常棒。其实在听第一个报告的时候我是有一些感慨的，因为在过去我们讲从06年到16年十年的时间里面，深度学习的发展，实际上我们讲主要有三个主要的驱动力，第一个驱动力是大数据，是互联网到移动互联网，海量的数据产生。第二个驱动力我认为是以英伟达代表的，当然我觉得英伟达最重要，半导体公司他们所提供的这种汹涌澎湃的计算，使得我们能够去处理这些海量数据。第三个驱动力就是去做模型跟算法，模型跟算法，从一开始简单结构的深度神经网络到今天我们看到的还有很多的正在进行的一些进展，实际上这个进步没有停止。很多现在正在进行的一些最新的进展，可能比我十年前所看到的还要激动人心。所以这个里面没有减缓下来，反而我觉得是在加速奔跑的过程。
    今天我们看整个科技创新的生态，包括很多的创意公司，每个人都在讲深度学习，实际上这个让我想起大概三年前我看到一个笑话关于讲大数据，是这样讲的，今天我们每个人都在讲大数据，就像每个中学生都在讲“性”，但是他们从来没有经历过。其实今天的深度学习是有一点这样的味道，因为真正的它需要这么强大的计算器，它需要这么多的数据，另外一点它还需要不是简单的去把一些开源节流的系统拿出来用就好，需要深度学习解决你那个特殊的问题，需要有这个能力，不光是创新一次，而是要持续的创新，真正具有这样能力，在这样实践的公司或者是高校实际上是很少。
    这是去年一次网上的公开讨论，真实的现状是什么样子？大家在讨论深度学习的时候，其实即使是在人工智能，这些应该是代表华人圈里面在人工智能方面的一批专家。即使在深度学习这件事情上面，在去年的时候看法也是不一致的。我当时我认为深度学习是机器学习的唯一方向，然后就有人说你在“找靶子”。同一个讨论里面我还讲到有一点，这点是什么呢？我讲深度学习还有一个激动人心的应用，我认为机器人的控制会因为深度神经网络增强学习的方法而发生改变，什么是深度神经网络增强学习的方法呢？大家有印象和有概念这是什么吗？这个就是在今天我们看见的ALPHAGO的算法，就是用深度神经网络去结合增强学习，它带来的一个很大的变化，这个变化不光会影响，还会影响整个机器人的控制，会影响我们的自动驾驶，这个是我今天要给大家讲的一个主要的话题。整个深度学习最近正在发生什么事情，你不会觉得奇怪。但是我跟大家分享，一些激动人心的方向会是怎样的一些方向呢？稍微回顾一下，因为这个是十年前的一篇文章，就像一个灯塔一样，它突然一下把一个很有意思的东西展现在世人面前，实际上是用非常多层的深度学习网络来从数据里面学习。我们可以看到在十年后在1月份也发表了一篇文章，就讲ALPHAGO在打败了欧洲的围棋冠军，讲深度神经网络跟增强学习结合带来的变化，所以十年的一个节点很有历史的意义。
    我们讲深度学习从1957年提出来叫感知用来模拟单个的神经元，现在也是跨越了60年的时间，中间这样一个单个神经元我们把它从各个纬度，从时间、空间纬度，以及它们之间关联关系的纬度去扩展，去构造各种复杂的神经网络，然后可以做很多的事情，这种创新还在继续。
    为什么深度学习应该受到重视？我在很多场合分享我的四个观点，第一个观点是深度神经网络确实在结构和行为上面的作用，比如我们讲的ALPHAGO用的神经网络，确实受到对视觉神经系统的影响。我想从工程跟应用的观点来看，实际上更大的原因主要的原因是因为后面的几个，一个是特别适合大数据，一个是EndtoEnd学习，第四个是一个灵活的建模。
    为什么适合大数据？如果说传统的很多智能算法由于各种原因，计算复杂度的原因，统计的原因，数据规模到一定的时候不再增长，但是它的效果随着数据规模增长到一定程度会再增长。对于深度学习我们在很多领域看到，就是不断持续的加数据，它的效果持续的变好，我们在很多领域看见类似的这种现象。所以就是说，深度学习跟大数据的时代是有一个非常有意思的关系。
    刚刚我提到的卷积神经网络，以前主要是对图像的处理，后来我发现在语音有应用。所以整个神经网络发展框架有一个很有意思的现象，看似这个框架可能跟问题无关，可能存在一个统一的形式，只是用不同的数据来训练它而已，所以这是一个发现的非常有意思的一个最近的趋势。
    刚才建中也讲到这样的一个很有现象级的事情就是ImageNet，由于深度学习的发展，整个记录在不断被打破，在很多其他的领域我们也发现。
    2016年最值得关注的是ALPHAGO所代表的神经深度网络最新的一个进展。我们讲过去十年，无论说卷积神经网络还是其他的神经网络，实际上做的事情就是感知，它听清我们的语音里面的内容，看图像里面是什么东西。但是如果只是一个感知层面的东西，顶多是安静地坐在那边是一个智者，但是并没有改变世界，你怎么改变世界？一定需要决策，要有行动。
    增强学习实际上是这样的一个机器学习的框架，它是什么呢？它是把一个问题描述成一个就是一个决策系统跟环境的博弈，如果它采取一个行动的话会改变这个世界。这个世界会给它一个反馈，是一个胡萝卜还是一个大棒，说你做得好还是不好。同时这个世界也会发生改变，去传达给它一个状态的变化。如果我们描述这种简单的区别框架，如何来做一系列的决策去优化一个最终的目标？比如我们讲最终的目标是什么呢？是到年底的时候你怎么投资的收益，一系列的抉择是今天买还是卖，买多少卖多少，如果我们讲是围棋的话，就是你一系列的不断的去下棋去做你的决策，最终要优化的是你怎么赢这盘棋。如果在智能驾驶里面做一系列的决策是加速还是减速，是左还是右，每次因为你的改变，你周边车会看到你的改变而改变，所以这个状态有一个更新。但是最终一系列的决策优化，结果要的是从A地到B地的安全，高效的到达目的地。
    谷歌用我在一年前预测讲用深度神经网络跟增强学习，在围棋这件事情上面它取得的一个巨大的成功。这个里面主要有两个部分，第一个部分是叫估值函数，实际上就是评估盘面，第二个是策略函数，根据这样一个盘面和局势你怎么下棋和决策。神经网络用在这里面解决两个非常难的问题，第一个问题就是巨大的状态空间，这个空间大到什么程度？几乎是3的400次方。它是一个极端不连续的函数，为什么？假设这个盘面整个不变，只要把中间某一颗棋子调换一个位置，可能导致一个巨大的灾难，这是一个极端的不连续的函数，这样一个复杂的函数是非常难建模的。用深度神经网络可以把这个问题我们已经看到了，最终会取得非凡的成就。
    同样增强深度学习从感知到控制，估值函数、策略函数。首先估值函数它是用来评估整个的路面情况，做整个感知的综合。决策函数用于决策控制，我们可以像ALPHAGO那样，从生意驾驶员每天行为中去学习海量的数据，去学习估值函数跟策略函数，但是更精彩的是说，我们同样可以构造一个复杂的仿真系统。这个仿真系统使得你有可能在一个虚拟世界里面产生无数的数据，让无数的虚拟车在英伟达所构造的GPU的数据中心，每时每秒都在奔跑，一日千里的去学习。所以这个带来的是什么？所以说在十年以后或者二十年以后人开车是违法的，这点我觉得只是一个时间问题。
    2016年是一个非常重要的历史节点，这个节点深度学习从过去的车在感知层面到行为、到行动、到决策。就是说2016年标志着知行合一的人工智能系统将走向历史舞台！它改变的不光是下围棋，会改变很多很多事情。
    自动驾驶毫无疑问面临一个复杂的道路状况，尤其是如何适应中国的交通状况？以前我在百度的时候我们跟做自动驾驶项目的同学我经常激励他，我怎么激励他呢？我说我们只要在五道口，如果能够解决自动驾驶的问题，那这个技术就是全世界的！去过北京的人可能知道五道口是什么地方。在欧洲、美国解决了自动驾驶的问题，在世界最大的汽车市场不一定管用。当然从现实层面来讲的话，你还需要去解决很多的问题，包括成本、可靠性、道德法规、安全性等等方面的问题。
    最一开始受到大家关注的无疑是谷歌跟百度他们所采取的自动驾驶的系统的架构。这个架构其实有一个特点，这个特点是说从一开始就奔向无人驾驶，希望跨越很多的中间步骤，基于这样一个特点所以高精地图在这个时候扮演一个非常重要的角色。这个核心就是说无人驾驶实际上顺着一条道往前走，这个相对来讲不是太难，难的是什么？是换档，难的是从主道到辅道，这些东西需要车通过精确的知道它在哪个地方。所以高精地图是会成为未来的构建无人驾驶或者高度自动化驾驶的一个基础性的设施。但是问题是说，我们离真正的高度自动驾驶跟无人驾驶这个时间还比较远。所以今天从商业路径来讲我们还需要做很多的这种中间道路的工作，这些工作使得今天谈的基于深度学习它更加的有意义。
    这个是高精地图，它是基于三维的对全世界的一个认知，这个里面需要达到10厘米的精度范围，对道路还有建筑物所有的一切，每个车道的边界，到非常高精度的一个定位。从而可以通过车辆的传感器包括激光对车有一个精准的定位。这个是百度在去年年底的时候做的一个测试，这是一个的视频，这位老兄手是空悬的没有碰这个车，后面显示的是这个车走的这边，车自动判断它要超前面的车，时间关系就过掉了。
    地平线在做什么？地平线我们公司使命是Define the brain of things，现在我的兴趣跟使命是说，互联网的事情归互联网公司，互联网之外物理公司我们得做一些有趣的事情，这些事情是在我们的身边，是我们可以触摸到的这些物理世界的东西，我们怎么让它们具有智能，其中一个最重要的品类就是汽车。如何去构造一个大脑平台，这个平台它首先是一个软件，首先是一个基于深度神经网络的操作系统和芯片，因为我认为从今天开始我们需要关注的是说，所有这些硬件里面，我们放在里面的不仅仅是这些软件，我们不仅仅是让它能联网，首先是构造一个软件的操作系统，个人认为这个操作系统是基于深度神经网络的一个操作系统。第二个，在下面一定有一个芯片级的对深度神经网络的一个支持，这个设计应该跟过去很多芯片的设计完全的不一样。
    我们主要聚焦的是两个场景，一个是Smartcar，另外一个是Smarthome，沿着这两条线不断的往前演进。我刚才讲到一个观点，我们需要新的深度神经网络芯片的架构，我想对于这个认知，无论是我们还是英伟达，包括英伟达自己内部的很多一些技术的前沿的研发，其实都是支撑这个观点的。我想我们不光是未来使它的计算力要更加的强大，但同时深度神经网络它本身算法逻辑跟芯片的设计都会共同的向前。举一例子，我们讲(天河二号)是世界上最大的超级计算机，今天它的计算力毋庸置疑，但是它需要千万瓦级的功耗，但是人类大脑它的计算实际上跟(天河二号)是相当的，这里面不光是物理、原理型的功耗的设计，其实也包括逻辑方面算法的设计。所以最近深度神经网络在算法层面的一个研究的热点问题，实际上是怎么样去设计非常低功耗的，可以低功耗的硬件实现的深度神经网络结构，大大降低功耗，不一定是很高集成度的芯片就能实现非常复杂的深度神经网络。
    地平线现在在关注什么东西？地平线关注的是设计深度神经网络聚焦在什么呢？在200块钱人民币以内能够买到的计算资源，我们怎么去设计这个深度神经网络用来支撑自动驾驶所需要的高精度的计算要求。所以说我关心的是今天市面上200块或者150块人民币能买到什么计算资源，建中如果你能够给我150块钱能够买到的计算资源我就专门为它开发深度神经网络算法，如果明年150块能买到的计算资源是什么，我们就专门为它开发，所以我们一定要去关注这个趋势。就是100块到200块之间的计算资源，然后我们要把这个算法做到极致。
    这个是我们用单个神经网络在路面上面同时做车道线的检测跟汽车的检测跟踪。这个是中间神经元的一些中间表示，整个路面全部扫描，每个地方都会支离破碎得到一些判断。在上一层的神经网络有一些综合，实现对对面整体判断。从60米就开始估计它的距离，估计这个距离除了深度神经网络还需要关注对车的仰角要做精确的计算，需要做很多的事情。
    我们讲在中国的路况要做一些什么事情？我们要做一些这样的事情，这个是外国的路况，大家稍微看一下可以知道，为什么在中国做自动驾驶特别不容易？在中国做自动驾驶一定是世界的，当然除开印度，印度的路上还有猴子什么的。因为国外不光是它的算法，他们的算法实际上检测，这个媒体上经常报道，这是UCSD的一个技术，他们的检测跟踪不但没有我们的稳定精准，关键是他们路上没有人。这个是地平线用深度神经网络用单个摄像头计算的，然后用非常便宜的计算资源所达到的水准。
    开发自动驾驶驾驶技术，除了在路面跑，非常重要的一点是仿真。要能够在虚拟世界里面对整个汽车的控制动力系统做精准的仿真。包括对整个路面环境做综合的仿真，使得你的很多的控制算法，它能够在这样一个仿真系统里面测试，能够去开发，甚至能够通过ALPHAGO这样的左手搏右手，所有的虚拟车在英伟达充满GPU的数据中心，这些虚拟的车在跑，不断的调整和学习它的算法。因为仿真可以低成本的去做，比如说这个摄像头坏了怎么办，哪个地方出了问题怎么办，可以在不需要产生真实的交通事故的情况下，你可以去测试你的系统安全性、可靠性，这点非常重要。
    最后我想讲一下，深度学习这么漂亮这么美有什么挑战？识别车、识别人\能不能识别印度街上的猴子。计算的平台，包括两个方面，一个是云端的计算平台，还有在前端的可控性，怎么样去高效，怎么样低成本，怎么样能够做到实时。第三个是系统集成，包括不同的传感器，包括跟整个控制系统的连接，这是一个高度复杂的系统。
    大家不怎么关注的一个问题是可控性，就是深度神经网络这样一个系统，非常的高效，但是有一个巨大的问题，巨大的问题是什么呢？就是你如果是出了什么问题你不知道怎么办，它看似是一个黑箱系统，这个问题非常重要，我记得在2005年的时候在西门子做气囊促发算法的研发，当时我们做出一个更加先进的算法，实际上如果事故发生了，我们可以得出结论它可以挽救30%的人命，但是最后系统没有采用，产品部门没有采用，因为它是一个相对黑箱的系统，但是一旦出现了事故在法庭上面的时候不能提供一个透明的解释究竟是哪儿出了问题，这是第一点。第二点是它不知道出了问题以后后面怎么样去提升，所以这个东西是一个超出技术之外的一个问题，这个问题非常的关键，它如果没有解决好，它可能会造成很大多的问题，这个是传统的车厂会非常关注的，但是我们很多做算法的人只去追求这种准确性，但是在这方面不一定充分的去认识到。
    最后，讲一下整个的ADAS，因为我从来不叫无人驾驶，因为我觉得无人驾驶可能是一个非常虚无缥渺的事情。从产业发展、技术发展路径来讲我觉得应该严谨一点。像谷歌那样有无限的资源去做，想希望一步达到无人驾驶这样一个道路，我觉得不光在技术上面有挑战，在商业上面也缺乏可行性，他们最近可能正在反思这方面的问题，一定是一步一步往前进展。
    我在差不多一年多以前的时候接受媒体采访的时候，其实就有一个这样的比喻，未来来讲我觉得我们需要去追求的这种自动驾驶的目标，它实际上是构建一个人车的关系，就像今天的人和马的关系一样，这个马在路面上会充分的感知环境，会非常及时高效的做判断。甚至我们可以想像你骑的马如果在一个万马奔腾的场景里面，马在微观层面的控制可以做的比人都好，但是需要在任何一个时刻你要控制那匹马，所以我想未来实际上在车上面的话，你的一个驾驶的体验，我估计可能从自动驾驶的角度来讲，可能跟骑一匹马是差不多的一个感受！
    谢谢大家！