网站建设教程开源代码下载,手机网站建设ppt,注册公司需要多少钱手续费,国外美容院网站文 | Mike Shou知乎#xff08;ID#xff1a;Showthem)本文已获作者授权#xff0c;禁止二次转载0. 写在前面「 开始写这边总结的时候是三月#xff0c;纽约成了疫情震中#xff0c;看着新闻报道里的中央公园#xff0c;中国城#xff0c;第五大道#xff0c;往事浮现知乎IDShowthem)本文已获作者授权禁止二次转载0. 写在前面「 开始写这边总结的时候是三月纽约成了疫情震中看着新闻报道里的中央公园中国城第五大道往事浮现于是开始写这篇回顾。。陆陆续续一直没写完转眼年底了加州疫情更糟。。前几天看新闻说Cathedral教堂发生枪击案震惊。。这教堂就在我当时住的学校公寓旁边每天出门都可以看到。。遂又忆起每天上学的时光于是决定把这篇总结写完会分几个part放出来。快圣诞了希望疫情早日控制住一切安好 」刚上大学时听过不少学长学姐分享会申请博士时读了不少留学申请总结。都收获很大让当时啥也不懂的我了解了每场游戏如何度过一个充实的本科如何拿到心仪的PhD offer的principles有啥规则有啥技巧等等。开始读博时候我也去找类似的读博经历分享令我收益良多的如熊辉老师 田渊栋大牛和李沐大牛的总结林达华老师的blog但可惜只有这寥寥几篇读博又是一个复杂的事儿当时的我并不能清晰地看见前面的路遇到一些事亦因缺乏经验借鉴走了弯路。于是当时便想着等我毕业了也得记下我学到的经历希望能帮助到刚开始读博像我当年一样迷茫的科研新人。也借此记录和感恩一路走来所有帮助过我的人best of luck。因为时间有限文章写的粗糙还请多多担待因为篇幅限制有的问题难以讲得完善全面还请结合自身情况辩证地借鉴相关经验或跟您意见不合全当看小说寻个乐子罢了。1. 万事开头难 第一学期1.1 初到纽约2014年夏天在北京国际机场我安慰我妈说“没事明年暑假我就回来啦”万万没想到一直忙忙碌碌一去就是5年……可能是初次留学的兴奋十几个小时的飞行感觉很快就过了到了JFK机场坐上纽约特色的黄色的士。去学校路上先是皇后区的平房后来到了曼哈顿深砖红色的高楼跟想象中的国际大都市并不大一样倒很有历史厚重感日后想想也是纽约也不能到处都如时代广场那般呀。接着办入住搞卫生小憩了一会儿傍晚出去门口的超市买点吃的第一次从112街走到Broadway上看着熙熙攘攘的外国人面孔很傻的竟然笑了出来…那会儿自然是极开心的就是一个毛头小子充满了对未来生活期待的样子哎回不去的青春啊当然了怎么也没想到接下来的一年会如此艰难……1.2 差距开学后一系列事情一下子让我清清楚楚地看到自己跟师兄们比各个方面有着很大的差距。且不说核心业务能力了首当其冲自然是语言环境的变化。一天路上一小哥对着我说How are you我想这不是新概念英语上的经典对话吗难道我真要回传说中的I’m fine, thank you, and you从那儿之后我知道了how are you就相当于吃了么您呐并不是真的问什么而是打招呼跟say hi差不多一般回good good就可以了甚至不回直接也回对方how are you都行。然后到了第一天来lab正好Y来面博后老板让他给个talkY希腊口音的英语再加上讲的内容涉及一些专业术语几十分钟我几乎完全没听懂他说什么会后跟他一对一meet更是尴尬的很…后来18年来FB实习巧了Y是我mentor之一第一天带我吃的午饭我们交流完全无障碍了他也不记得当年还见过我……我有个朋友总结刚来时候跟外国人的交流是三分靠听七分靠猜……现如今即使是印度口音只要不是说的特别差的或者我特别不熟悉的东西都能通畅交流了。感觉这没啥技巧首先要敢说然后多跟不同的人聊天练习 慢慢就好了倒不必太过担心徒增压力。但是如果英语不好的话难以跟外国专家合作融入核心科研圈子对长远的发展耽误很大尽量在1-2年内做好这个提升。1.3 让老板知道你在干活因为我是本科毕业直博刚读博那会儿思维里还是默认导师是教育培养学生的角色指导学生做出成绩明白但没有深刻认识到博士生与导师还有雇佣关系。第一个学期我主要是跟着师兄们做跟导师大概一个月meet一次每周有weekly report。开学时老板把我分给一个师兄带参与他的项目A是个很好的学习机会但是发不了paper。11月CVPR投稿的季节另一个师兄找到我帮忙做项目B这个项目准备投CVPR做出来的话可以co-author。于是我那段时间都扑在做B上终于实现了其中一个核心的模块。CVPR投稿完的那周正好导师约meet我想B的事情做完了下面精力就都是做原本的A了meet对我来说主要目的是确定下接下来的plan呗。正好搞CVPR之前项目A的师兄让我reproduce一篇nips文章的方法用到项目A的data上于是我准备的slides主要介绍那篇nips和怎么用到项目A上。结果meeting结束导师很不高兴觉得我这几周没有progress。记得那天导师办公室没开灯冬天下午五点的纽约天已经黑了周围一片黑压压的更显压抑。我当时挺惊讶的因为原还以为在导师印象中是我参与了B的CVPR投稿很impress呢。我后来仔细反思了下虽然这几周我对B也算是呕心沥血weekly report里也有提但是一来我只是coauthor对于B工作整体而言算不上main contributor二来导师很忙不能assume对方完全了解并且记得你做过的一点一滴。同时我也明白了这个meeting的目的既是讨论research ideas但也是review progress我首先得让导师明白我这段时间有在好好干活。现在的我不会只提项目A之后我想怎么做会同时准备一页slide总结下我对B的贡献。1.4 自己的感受没那么重要我们系第一个学期末就要博士资格考试。这个考试各个学校称呼不同大概就是博士生通过这个考试才证明有能力qualify继续读博士。我们系给大家两次机会第一学期末第一次考没通过的第三学期末再考一次要是还没考过就只能卷铺盖走人了。而且这考试还真不是走过场每次大概挂三分之一的人所以真真切切见到周围有人因为qualify没过走人的。我本科学的CS博士因为fellowship是EE发的所以在EE系。这可愁坏我了因为考的是EE的基础topics电路DSP网络啥的我大都一窍不通。于是第一个学期的课我选了门DSP准备好好从头学。这是硬课再加上平常主要精力还得放在lab的项目上第一学期压力巨大。记得有一天晚上睡觉做了噩梦梦到不知什么怪物惊醒醒来想到各种tasks各种due顿时只想继续回到梦中相比而言还是怪物比较可爱……这时候只好把自己的感受搁置一边累、苦想这些又有什么用呢只能更加平添烦恼。该做什么就去做告诉自己干就完了结束后反而发现过程其实也就那样有时候我们只是过度看重了自己的感受夸大了困难的程度其实自己的感受没那么重要只要身体本身还撑得住。qualify考试在1月初。12中旬忙完了期末考试去Chinatown吃了顿好的回家看了部电影然后跟导师请好假专心复习qualify。大概有三周的复习时间除了DSP其他的topics完全从零开始学。后来觉得这考试的目的不是考的知识本身而考的是学习能力。复习的过程是很惨了时值圣诞节假期朋友圈各式各样在佛罗里达坐游轮的迪士尼看烟花的回国火锅小烧烤的而那年的纽约还尤其的冷家里的暖气开到最大还是冷的不行我只能早出晚归的去图书馆路面冻得白花花的公车开过扬起白沙从家里112街到图书馆114街只有5分钟但却那么漫长每天几条裤子叠着穿有天开始一度冷到零下负十几度我刚出门一会儿就赶紧回来在牛仔裤外面又套了件运动裤……所幸最后考试通过了小秘告诉我竟然考了第三震惊真是功夫不负有心人讷……1.5 上课没那么重要第一学期选DSP纯为了考qualify exam修的跟我日后的研究基本不搭噶。我第一学期还修了机器学习机器学习我之前没有系统学过学完还是受益良多。但为了达到学分要求我博士期间被迫修了14门课第四年还在上课……我的感觉是CV是实践科学上课没那么重要很多时候甚至是浪费时间。我觉得值得选课去学的可能就是机器学习算法就够了。搞CV方向的与其上门CV还不如自学网上教程亲身参与几个项目学的更快对书上的知识有更深刻的理解。我觉得上课最大的作用就是去了解这门学科有哪些基本的概念和算法所谓把unknown unknown变成known unknown哪天你要用到他们了需要把known unknown变成known known的时候知道在Google里输入啥关键词去搜。当然如果有时间上些基础型的硬课自然没啥但对于博士生时间本就紧张就得做做平衡了选些seminar的课比较好一般主要就是读论文做project。我后面陆陆续续带了很多低年级的学生很多人学期伊始觉得要多学些知识选的都是硬课学期过半发现作业做不完科研没时间两头耽误都是后悔不已…2. 方向比努力重要2.1 PhD选题第一学期在课业科研qualify考试适应国外环境种种碾压之下总算过去了……虽然痛苦但只是工作量大努力使劲就好了……第二个学期开始2015年于我关键词是迷茫努力努力但怎么也使不上劲的那种……第二学期开始重心主要集中在research上了跟导师的meeting也从一月一次变成了每周一次有幸得导师亲自调教各种真正做科研的能力了。导师给我定了个新的项目深度学习下的incremental learning。这其实是个很难的问题现在5年后来看都没有被很好的解决亦没有一个标准的benchmark也就是说其实大家还没有定义好这个问题记得导师那会儿说if you can formulate this problem这个问题就已经解决70% 了。结果忙忙碌碌几个月研究了很多文献做了很多实验还是没有太大的进展就是感觉很迷茫了不知道下一步该干嘛。幸运的是到5月份导师让我跟师兄一起参加一个叫THUMOS的比赛这其实又是个新的项目了开始我还觉得已经忙不过来了哪有时间再多一个项目后来庆幸参与了这次比赛开始了我做video这个方向的科研生涯。那会儿video领域大家主要做classification而且是几秒的短视频THUMOS是长视频而且不光有action classification task还要一个task是action detection检测你所感兴趣片段的开始/结束时间。参加比赛时我跟着师兄主要搞classification边做边学上手了处理视频的模型和框架收获很大。比赛完后我发现classification大家搞的火热而detection同样很重要的一个课题却没有人研究过基于深度学习的方法于是就有了我的第一篇CVPR文章收到了很多follow-up。我自己也算是找到了自己的研究方向不再迷茫。我觉得这段经历对新手很有参考价值很多时候光努力不够方向更重要。新手如何选博士几年的topic有两个问题值得思考能不能快速上手有几个简单的评判标准state-of-the-art的paper有没有开源的代码目的是你能迅速复现baseline熟悉整体pipeline如怎样预处理后处理加深对实现和细节的理解有没有对这个topic有hands-on经验的师兄或者community里面approachable的前辈目的是当你遇到实现上的细节问题可以及时咨询和得到反馈这个topic有没有比赛或者标准的benchmark目的是有大家已经定义好的数据实验setup评价标准这样你有可以直接比较的baselineoutperform baseline的时候也容易被人认可能不能有大的impact这里我指的是博士期间的大方向由一系列单项的工作或者paper构成。单篇paper通常有三种类型1First work开创了一个topic比如RCNN于object detection2Last work基本解决了一个topic比如Faster-RCNNYoLo于object detection3Improve类型介于First和Last之间的。Last很难Improve常见但影响力不够深远对于新手而言博士的早期工作在有能力做出来和有impact之间的trade-off比较好的估计是First了不一定非要是第一篇只要是某个topic里面开创性工作的那一批之一都是不错的。这个早期工作之后你会对这个问题哪里要改进有很清楚的认识因为improvement room大也会有很多ideas。同样早期的时候怎么选这样一个topic呢相关的比赛是这一两年新开的吗相关的benchmark是这一两年出来的吗上面的结果提升空间大吗现在是20%还是已经80%了2.2 单篇Paper选题前面说的PhD选题是大方向上的具体到每一篇paper选择的principle和重点则不太一样。来Facebook后从马爷爷那知道了一个著名的Heilmeier问题系列是指导老师们申项目的我觉得稍微改改便很适用于我们考虑某一篇paper的选题合不合适What are you trying to do? Articulate your objectives using absolutely no jargon.How is it done today, and what are the limits of current practice?Who cares? [Support other’s research? Shape research landscape? Power applications in industry?]Whats new in your approach and why do you think it will be successful?If youre successful, what difference will it make? [e.g. Contributions in theory/modeling? Improve accuracy by 5% on dataset A, B, C…?]What are the risks and the payoffs? [Further, how would you mitigate the risks? If your proposed method does not work, what could be alternative design? These can end up as discussions such as ablation studies in your paper.]How much will it cost? [e.g. How many GPUs do your experiments require? How long is each training process? How about data storage?]How long will it take? [How many hours are you going to work on this per week? When is the submission DDL? Can you make it?]What are the midterm and final exams to check for success?3. 谈谈PresentationPresentation分为做报告还有就是写paper3.1 谈谈做报告14年刚来哥大那会儿每周五是我们组会导师让我在组会上present RCNN这是我第一次给导师作报告而且是在全组面前报告自然想要好好表现。我对object detection之前完全没了解过于是paper读了一遍又一遍文中用到的前人技术不懂便找到前人的文章去学怎么回事。感觉自己学到好多自我感动觉得花了这么大工夫一定到时候会让导师刮目相看。结果就是啪啪打脸导师极其严谨当我解释了A解释了B问我已经有A了为啥还要B我大脑一片空白尝试着解释了半天导师表示听不懂这是可想而知的因为其实我自己也并没有搞清楚为啥当时自己读paper的思维模式其实只是memorize怎么做怎么做但没有去搞清楚要这么做背后的原理另外当时slides准备的也不够好。总之结果是这次报告搞砸了。还好事后师兄们继续跟我讨论让我对技术原理有了更深刻的认识有的师兄更用亲身经历安慰我说当年他刚来的时候第一次汇报工作连slides都没做干讲导师自然也是没能听懂。之后几年从导师身上学到了很多presentation的技巧如果可能的话事先了解你的听众背景是跟你做同一个topic的还是同一个大领域但不同topic的还是完全其他专业背景的。需要根据听众背景定制和调整比如需不需要多介绍些背景需不需要更深入技术细节等等一页slide尽可能focus在一个点上不要信息量过大否则听众很容易lost尽可能多用图片表达不要大段大段的列文字A picture is worth a thousand words上面这两点其实principle都是尽量让要讲的内容简单明了因为很多时候我们在听talk这样被动接受的时候接受新知识的能力是比主动接受时候比如看paper低的。当听众问问题的时候If you don’t know the answer, just say don’t know.如果是跟mentor日常讨论的slides因为会讨论到很细节的东西有些图PPT画起来很花时间而且通常这样细节的图还挺多所以可以就ipad上面手画一画截个图放到PPT里就好了如果是正式一点的presentation写slides跟写paper的principle有点像不要太focus在细节上更重要的是讲清楚motivation为什么这样设计细枝末节的不关键的内容放在backup slides里面。19年CVPRDoctoral Consortium有幸mentor是斯坦福的一位大牛教授她也提到了presentation的重要性说她们lab有个开玩笑的说法一份slides交给她去改no pixel left……为了分享如何能让报告听起来有兴趣她画了下面这张图让听众情感亦是兴趣高低注意力程度随着时间的变化有三个高潮首先介绍你的问题通常这时候大家都会引发兴趣但听着听着大家注意力就不集中了这时候就到了图中第一个低谷这时候需要指出来这个问题有哪些challenge大家的兴趣就又被激发了等大家兴趣来了精力集中的时候介绍你的一部分工作work 1等介绍完第一个工作大家又疲劳了这时候指出来即使有这个work 1问题还不能被解决因为有remaining challenge接着大家又被调动了兴致可以开始介绍work 2。3.2 谈谈写paper在2.2里面讲了对某一篇paper如何选题和做规划。那真的到了写paper的时候我自己有几点如何让文章写的更好的体会先给一个Talk。写paper最难的是构思storyline而最好的完成这一步的方法就是先对你的工作做一个slides给周围的人present一遍。这个过程中你会梳理好自己的思路画好文中的figure准备好实验结果的table周围的人还可以给你提意见帮助你完善等这个talk给完了后面写paper就会顺畅自然了。其实我现在如果准备投一个paper当做了一段时间后就会按照最终presentation的思路准备slides用在每周给老板们report时。开头先快速review一下做的task和提出的方法remind一下context然后重点focus在那周做的新东西上所以每周汇报的slides可能80%都是跟上一周一样的然后新的方法和实验结果的那几页slides是新的有比较多的细节。用Google doc做语法检查。刚写好的paper有typo和语法错误是很难避免的但常常会被reviewer揪着不放。大家写paper如今大都在overleaf上但overleaf的查错还是不够好建议可以写完paper后贴到Google doc里面。几年前开始估计是由于deep learning对Google NLP的改进很大感觉Google自动改的质量已经非常高了。Rationale很重要。不光是要讲清楚你怎么做的更要justify你问什么这么做不光要讲你的结果比baseline好更要解释为什么好读者看到的不应是一个“使用手册”。有时候我们写paper花了很多篇幅写了很多实现细节但是更重要的是解释“为什么”这个背后的逻辑和insights。大部分paper都是提出一个新的方法这类方法型paper似乎都可以套下面这个框架Introduction可以分为以下几个部分Problem definitionPrevious methods and their limits简单描述你是提出了什么技术来overcome上面的limits一个图非常high-level的解释前人工作的limits和你的工作怎么解决了这些limits最好让人30秒内完全看懂最后一段如今大都是In summary, this paper makes three contributions:First work to解决什么limits提出了什么novel的技术outperform了state-of-the-art多少Related Work一般三五个subp分别review下相关的topics同样不光讲previous work做了啥更要讲自己的方法跟前人工作有啥不同Method这是文章的主体按照你觉得最容易让别人看懂的方式来讲可以第一个subp是overviewformulate一下你的problem给出notation配一个整体framework的图图里面的字体不能太大或者太小看不清要有些细节让人光看图就能明白你的方法是怎么回事但不要过于复杂让人在不超过2分钟的时间看完这张图然后几个subp具体介绍你的方法或者模型如果testing跟training不太一样最后一个subp介绍inference时候的不同通常是一些post-processing操作ExperimentDatasetsImplementation details such as pre-processing process, training recipeEvaluation metricsComparisons with state-of-the-artDetailed analysisAlternative design choice explorationAblation studiesVisualization examplesConclusion (and Future Work)Abstract是全文的精简版建议在paper写完第一稿差不多成型了有定下来的成熟的storyline了再去写abstract大概就是用一两句话分别概括paper里面每个p然后串起来另外paper提交时候可以交supplementary materials虽然reviewer并不被要求强制看这个但其实给我们机会去include更多文章技术细节、实验结果的好地方在后面rebuttal阶段通常篇幅有限制但如果你已经在supp里面未雨绸缪可以省很多空间refer reviewer去看你supp里面的内容就好了。说到rebuttal我还是比较幸运的从导师那学到很多。导师已经是功成名就业界泰斗那种起初我以为他这个级别会对我们是放养但我在哥大投自己第一篇一作paper的时候导师可以说是手把手带我入门了。还记得16年CVPR review出来后导师找我讨论rebuttal我那会儿对写rebuttal并没有什么经验也不知道可以用R1代表review 1等等。那天meeting开始已经晚上7点了估计导师还没吃饭我两就挨着坐在他办公室里对着他的电脑讨论reviewer提的一个一个问题。因为很多时候其实reviewer表达问题并不准确他教我分析每个问题背后reviewer真正关注的点是什么。边讨论导师边直接敲下我们讨论的notesmeeting完后我看这notes基本上就可以算是个rebuttal的初稿了比我meet前准备的draft强多了……4. 记四次开会2016年拉斯维加斯。博士期间我参加了四年的CVPR这是我们行业的盛事了。学术会议通常主会3-4天有oral环节大家可以听台上人轮流做报告有poster环节一个大场馆列满一排排的poster stand每篇poster有作者在旁边讲解和答疑oral和poster环节交替进行。大场馆在poster周围有各个公司的展台一方面展示技术一方面更多是在招人。主会前后一两天有tutorial和workshop通常会有大佬来介绍最新的工作因为现在paper大家很多早就挂在Arxiv上看过了很多人觉得workshop比主会更有听的价值。若用一个词形容16年参加CVPR的体验那就是兴奋了。首先Vegas就足够让人兴奋了一座沙漠中建起来的梦幻城市各式各样的酒店威尼斯人凯撒皇宫艾弗尔铁塔每换一个酒店就像到了一个新的国家。三年后毕业旅行我带爸妈来故地重游依旧是很惊艳。然后这也是第一次见到许多业界大佬们的真身。当时在湾区实习候机的时候就发现周围都是同行。第一天晚上跟着师兄逛赌城大道一个很高的老外来跟我们打招呼握手我后来才意识到是现在在Tesla的Andrej之前本科的时候还邮件问过他DBN的问题没想到竟然是他…后面陆陆续续看到各种在Paper上面名字很熟悉的真人很兴奋了…这次开会我才知道了开会的目的不光是听报告学知识也是social认识人的机会我们需要融入到这个community里去。从优秀的人身上我们可以学到很多每人各有所长有机会合作的话可以双赢每个人都有盲区需以他人为镜。而这些的前提就是你要成为这个优秀圈子的一员跟他们有交流。当时杜老板刚毕业加入Facebook因为我的工作基于他的之前的C3D在路上看到他鼓起勇气跟他打了个招呼杜老板很nice的跟我聊了一会儿也是从那之后跟他们组有了些合作我去年毕业后也加入了这个组。不过那年我对social的认识也就仅限于此了我甚至不知道公司还有party。不过好处是认识的人不多没有太多的招呼要打可以集中精力开会学习这一年算是我开会最认真的一年了基本上把所有poster都过了一遍。另外我也是第一次讲poster这个环节一般两小时站着不停说话其实蛮累的建议可以备点零食水在旁边。2017年夏威夷。感谢组织第二年又免费去了个度假胜地……不过这一年因为已经入行了开会过程很忙碌。这年有幸中了篇oral导师很重视前后slides改了很多遍rehearsal了好几回。为了听众体验比较好可以看着听众有眼神交流同时看起来professional导师要我脱稿。从西雅图飞夏威夷的飞机上就一直在背稿子然后一直反复rehearsal……报告前还是很紧张忐忑的台下坐着得有一千人讲12分钟3分钟QA不过上台后似乎因为集中精力在报告本身反而淡定了……话说这种事情感觉都是第一次很紧张经历过了以后就好了记得第一年只是做poster 展示我事前也很紧张但经历过后这第二年做poster展示时就非常淡定了。报告给完后因为最后一天有个workshop要给个talkslides还没做只能继续宅在酒店准备……悲催的整个开会期间很多时间都呆在酒店都没啥时间出去转转只能默默给大家朋友圈点赞也没有机会向第一年一样认认真真看poster了……所以很佩服大佬们他们又要到处给talk要跟各种人meet是怎么安排开会时间的……前面说到公司party在会议期间晚上一般大公司都会组织自家的party供大家social。虽然很多时候是大型尬聊现场但公司很多员工会来为来年招intern或者正式员工做宣传很多学生会来可以了解不同的组做些什么有没有headcountintern有没有returning full-time offer当然还有就是有free food包晚饭而且Party的场地很多时候是有特色的景点印象中去年微软是在一艘大轮船上感谢张老师carryFacebook是在水族馆。很多时候这些party为了控制人流量会要求invitation。会议前公司们会给你发邮件invite可能是HR看到你要来present paper可能是某个公司researcher想要跟你面对面聊聊也可以你直接联系公司的朋友提前把你加到list上。有时候没有invite有认识的公司朋友也可能直接带进去或者人不多了就直接不限制了。另外第一年开会的新人可能看到别人去Party自己没有invite会失落但其实duck不必哈找上落单的小伙伴去周围景点好好玩玩这可能是今后所有开的会里可以自由支配晚上的时间想去玩啥就玩啥不用去尬聊的唯一一次了好好珍惜2018年盐湖城。这一年我博士第四年结束开会的主要任务就是找工作了。前面说到poster场馆有很多公司的展台前两年我也就去拿拿文化衫就走了这一年则不然因为展台有HR给你介绍公司的招聘流程当场收简历也有站台的员工可以直接了解他们组的情况。当然这样可能还是比较general的招聘即使有员工很可能跟你也不是做同一个小方向的一般来说大公司里面偏production的组在这里认识的机会比较多如果想找偏research的组还是通过你paper认识你的同行师兄弟朋友们的介绍效率相对高些可以约他们在展台或者Party上见面聊。对于找postdoc的同学很多老师会约在开会期间见面甚至面试所以可以提前reach out约好。2019年洛杉矶长滩。洛杉矶也是我很喜欢的一个城市因为我一直有个影视梦所以很喜欢好莱坞这大概就是我为什么坚定做video方向的初衷了。长滩其实离LA市区挺远的算是一个度假小城市了甚至有自己的机场。长滩市最著名的景点就是literally的长滩了有很多游艇一列一列地停着蛮壮观的。19年这会儿我已经毕业了刚加入Facebook不用逛公司了解找工作的情况倒是又可以认认真真开会了。另外对于毕业生会有个Doctoral Consortium强烈建议申请他们会组织毕业生和业界大佬一对一吃饭是个很难得的学习机会毕竟除了自己导师很少有其他老师能花一个小时跟你单独聊各种research和career上的问题了吧。5. 记三次实习2016年博二暑假湾区Santa Clara。来纽约连轴干了两年暑假要去师兄在加州的start-up帮忙总算要换一种生活方式了开心那会儿对传说中的硅谷还没有概念还不知道San Jose圣何塞J发H的音。因为纽约就是跟所有国际大都市一样高楼大厦生活便利其实没有体验过典型的所谓美帝乡村生活湾区则是住宅区里一栋栋的自家house挨着四层就算是高楼了每一片儿有个plaza聚集各种饭店超市到湾区第一天被感叹说像是第一天来美国的……这次实习很短两个月因为是start-up工资不高租的地方没有床睡了两个月地铺住家附近有条小河蚊虫很多对虫子极度反感的我在地铺上整了个蚊帐天天上班打车是打不起的只好买了辆自行车骑车上班单程半小时还好天气炎热也还好最恐怖的是在一个上高速分叉口得过个马路没有红绿灯只能招手示意过来的车常有大货车而且车流量大经常得拦下一列车每次都胆战心惊……不过整体工作生活还是充满新鲜感的。工作上是纯production了解了很多prod的system design虽然早九晚七但不用像在学校搞research晚上和周末还要加班所以觉得很轻松师兄们人也很好带着我们去过了优胜美地三番市区玩。总体感觉就是让我紧绷的科研神经放松了一段时间也了解了另一种很不一样的美帝生活习惯了吃早茶印度菜越南粉。2017年博三暑假西雅图Redmond。这个暑假是过去几年里过的最开心也收获很大、非常充实的一个暑假了。这一年在微软是research intern大公司确实流程比较正规开始的时候有orientation带你入门公司各种facility也是不错。我的mentor已经是很senior了是组里的manager但还是非常hands-on自己还写code做实验所以对技术的见解非常深入人也很nice甚至还有时帮我一起debug算法学习到很多。当时我在一个华人比较多的组其他的full-time也很nice我们工作上有问题都耐心跟我们讨论生活上带我们尝试各个楼不同的午餐。我们在的是99号楼都说99很难吃导致我至今还没尝过99的午餐……组里每周会有intern轮着做presentation介绍自己的进展大家都很自觉所以虽然说大家都很nice但因为想要在这三个月里做出东西来自己给自己的压力还是比较大的。这种压力我觉得是好的积极的压力。这次实习后我就习惯了用Windows系统VS编程onedrive自己macbook上装着Windows这个习惯来FB后被打破了现在又换回来苹果原生系统……微软没发笔记本而是台式机所以周末来公司的intern还不少再加上西雅图公交系统发达去公司很方便我晚上和周末基本都会在公司也因此认识了一群小伙伴因为微软晚上餐厅不开所以常常坐小伙伴的车去外面一起吃晚饭然后再回来干活。夏天的西雅图天气很好很舒服二十来度吧晚上九点多天还是亮的是全年最好的季节其他时候则都是雨季了。2018年博四暑假湾区Menlo Park。这一年回到湾区在Facebook体验是最fancy最累的一个暑假了。原以为之前我已经了解湾区了但16年其实是在SunnyvaleSanta Clara这块靠东边偏热18年FB在Menlo Park公司公寓在红木城这块靠西边温度跟西雅图夏天差不多很舒服跟16年常活动的区域还是有点远的。说fancy是因为17年在微软我觉得有免费的咖啡和椰子汁就很不错了来了FB好么喝的吃的种样繁多微软就显得小巫见大巫了FB楼里各种有个性标识的墙intern program组织的活动也多认识了很多玩得来的小伙伴。在这也学了很多“黑话”什么movefast啦什么what does success look like啦……但同时也是最累的一个暑假了一来因为open space办公室大家都坐在一块儿业界大佬就在身边自然也会想向他们学习做的优秀二来FB有mid-term和final review一般你的mentor们会给你写feedback打分然后有个叫calibration的环节上面的老板们会把所有intern放在一起比较调整分数要看你跟你的peers比怎么样。所以好几次忙到晚上3-4点早上8点就得起来赶班车……6. 没那么简单的事6.1 Project vs. Paper刚入学时我单纯的觉得好好做research就好了但事实上能够专心做research的时间其实是没有想象的那么多的是要挤出来的甚至去开会回来报销填表准备材料这种杂事小事都得折腾掉好几个小时……但更tricky的是平衡project和paper之间的关系。如果你比较幸运有国家的Fellowship/Scholarship或者系里的Fellowship/Scholarship有的是以TA的形式不用做所谓的RA再或者sponsor你的project是纯以发paper为KPI的而且并不care你做的是什么topic那你可能没有这方面的苦恼。但是通常老师们申请grant很多grant尤其是金额大的project通常甲方心里都有一个确定的想解决的问题向老师征求proposal即问题的解决方案proposal里面会规划好每个半年甚至每个季度做什么task。当然这里说的project不包括那种纯粹是给外面公司做工程的project倒还都是research project。经常项目开始的时候因为proposal是以前定好的如今环境、state-of-the-art都不一样了跟当下情况不符或者甲方想解决的问题比较practical是个没有formulate好的research problem或者不是community关心的偏基础的research task。举个例子你想做的topic是object detectioncommunity关心的dataset是VOCCOCO但你的甲方关心的可能是某个领域的object detection比如detect某种野生动物比如detect不同微生物。经常遇到的是你提出的方法在VOCCOCO上面很work但在微生物的dataset上面效果不佳这样虽然可以发paper但是project却没有进展。有些项目在开始的时候会fund好几个team然后让大家比赛比如在项目内部有个detect微生物的benchmark让你们PK第一年结束淘汰掉最差的那个team第二年继续PK再末端淘汰。你要是project没有进展导致你导师的项目被砍了就问你怕不怕……因此很多同学就走了另一个极端花很多精力做项目hack这些project的上的number很多时候涨点最快的方法是collect更好的training data用更复杂的网络渐渐变成了解决工程问题开发了个很牛的系统但是没有novelty发paper。这种情况下人的本性会觉得麻烦就偏颇一方。但这其实是偷懒千万不可。要align双方的兴趣要注意平衡trade-off一方面要project有进展对sponsor负责另一方面更要对自己负责发paper做有impact的工作。比如尽量focus在模型本身找到有novelty在project benchmark和学术界standard benchmark上效果都好的方法。以及通常一个project开始的时候有很多engineering的活儿可以暂时放一放纯paper research等system搭起来了后面就是不断improve核心算法这个时候精力更多放在paper这边。拿我自己举例子15年底我开始take charge of一个新的项目于是16年上半年基本都在为这个项目搭初步的system从前端网站到后台数据库从设备采购到system infra从object detection到multi-modal等系统差不多搭起来了我在项目工程上就可以花很少的时间也有progress去每月report于是16年下半年基本在做paper当然topic做的技术是将来能improve项目system一个核心模块的到了17年上半年系统要开发新的模块又是花了三个月在项目工程上再之后直到博士毕业都是尽量找到common interest一个新的模型对project的system效果有帮助亦有大的paper research价值。6.2 new dataset和new task不是low-hanging fruit刚读博时候受周围人影响很多人都说release一个新的dataset没有什么技术含量轻轻松松发paper还能赚一票引用是个low-hanging fruit。但当我参与到一个新的dataset的创建过程后才发现这是一个非常tedious的工作有很多的脏活累活很多细节的地方需要考虑。之前v1版本data可能因为一个细节没考虑好需要重新collect或者annotate费时又费钱经常要迭代好几个版本。所以create new dataset一点也不简单可能比提出一种新方法的paper花的时间还要长。同样以前以为提出一个新的task所谓挖坑是个low-hanging fruit但真正做过之后才知道也没那么容易的。17年底导师让我做live detection也就是只根据过去和当下监测当下发生了什么事件。我发现之前的工作都没有很好地evaluate这个问题formulation上有问题实际做的是per-frame labeling或者early classification于是决定提出一个新的task专门evaluate detection本身。投完paper信誓满满结果被CVPR拒了。reviewer们一方面指出了一个我之前忽略的点另一方面指出对于有的applicationper-frame就可以够用不能直接说per-frame用来detection有问题而仅仅是对于有的应用场景per-frame用来detection有问题。为此要大改paper的定位。过程是痛苦的但正因这个痛苦让工作更加完善我们才能成长升华最后这个工作重投ECCV被大家认可了。对于new dataset或者new task的工作怎么样才能做的尽量完善减少迭代次数呢我的一个经验是这种项目尽可能involve多的experienced experts参与讨论及时跟大家沟通collect不同人的想法。每个人看问题角度不同放在一起就会比较完善群众的智慧是大智慧。6.3 没那么难说了没那么简单的事再说说没那么难的事。万事开头难难在迈出第一步。当开始做survey入门时发现这么多文献要看会觉得难当想好idea准备去实现发现要准备data要实现的东西一步又一步会觉得难当开始写paper构思完每个p发现这么多内容要写会觉得难……但实际上当我们一点一点去完成的时候会发现完成的速度远比我们想象的快文献一个星期可以看完经典从而入门paper一个星期可以有个初稿idea实现起来一个星期可以coding完甚至跑出实验结果……其实没那么难就是耐下性子脚踏实地干就完了。7. 毕业后何去何从7.1 想清楚一般大家就是三种选择吧去公司去创业去学校。这个问题经常会被归为想去学术界还是工业界但我觉得职业本身的区别可能没有那么重要重要的是想清楚最想要什么最喜欢做什么最擅长什么未来几年哪个选择能最大地支持自己的需求7.1.1. 最想要什么面对不同的选择第一步要做的就是想清楚未来几年在这个新的岗位上你的最大的需求是什么比如说1急着用钱要钱多稳定的工作2家庭压力大未来几年需要个人时间多的工作3做自己喜欢做的事情并在自己喜欢的事业上有进展。显然1的话是去大公司写码2和3的话公司和学校都可以2的话去一些老牌的养老型的大公司或者压力小一些的学校3的话去发展快速ing的公司或者top的学校但如果是1和2恐怕都不能选创业特别牛的大佬除外。7.1.2. 最喜欢做什么人生奋斗一辈子最重要的还是要开心只有做自己喜欢的事情才会开心也只有如此才能一直一直做下去做出有影响力的工作。让自己开心的事情因人而异有的人喜欢编程写一辈子代码是最开心的在大公司经常看到年纪很大还在写代码做individual contributor的人家就喜欢这个有的人喜欢开车去自动驾驶行业最为开心像我的话喜欢看视频拍视频剪辑视频所以做和视频理解与生成有关的工作最让我开心。通常一份工作都是由各种各样的component组成的并不只是非黑即白的。比如说自动驾驶公司跟编程有关跟车有关跟视频有关跟上面三种人都关只要有common interest能最大地满足你的需求就行试想对于第一种人最喜欢的事情是编程来说让他在自动驾驶公司写代码可以但是当VP做管理或者搞商业啥的他可能并不开心。而我的话一路走来从哥大读博研究视频算法到Facebook搭建视频工业平台再到业余生活中拍片子制作视频…在视频生态链的每个环节我都很开心。总之不同的人看重的东西不一样擅长的东西不一样选择本身并无好坏之分。所有的选择总有好的一面也有坏的一面只要适合自己都是最好的选择开心就好。可能唯一要注意的就是不同时间段各种影响你做决定的因素的权重是在变化的年纪大了我们可能会更看重家庭和稳定有的事情年轻的时候不做以后可能就没有机会去尝试了鱼和熊掌不可兼得需要取舍。7.1.3. Long-term vs. Short-term考虑毕业后这几年选什么样的工作时候一方面想远一点你的long-term事业或者说可以一直做一直快乐的事情是什么另一方面毕业后这几年short-term来说是不是曲线救国短期做的不一定是你喜欢的事情但是长远来说对你long-term目标是不是帮助更大7.2 如何找教职目前来说毕业直接找到教职的难度还是比较大的很多人会先做个PostDoc可以一方面积累新的paper一方面积累新的connection。同时博后期间可以有更多时间准备更充分地找教职。找教职的话qu qing学长写了个总结非常全面强推最近在update估计要过一段时间放出来大家stay tuned哈https://qingqu06.github.io/pdf/Job_Search.pdf7.3 如何赚大钱最快赚大钱的方式就是创业了当然new grad选择这个的比较少要考虑你有没有时间精力资金上的压力和限制有没有一个好的business model作为技术出身的我们有没有好的商业合伙人mentor另外一条路最多人选的就是在公司做production升职加薪最终财富自由的。经常有人问要不要读博我觉得如果是想走公司这条路的其实读两年的master可能就够了save下来的三年在公司里面选个发展前景好的组整个org growth快从而headcount多的组可能升职加薪的速度更快。当然读了博士手握几篇paper是工作能力的证明找工作更容易是个敲门砖否则简历关可能就被刷了博士大家庭的师兄师姐做相同topic的peers都是将来有用的资源这个问题也很复杂我这里就不展开聊了。但是想走公司一路快速升职这条路的尽量不要抱着又搞想research又想做出大的product impact早期公司里都没有用deep learning的时候是可以大展手脚的但公司已经解决了deep learning从0到1的局面后再抱着这种思路可行但可能升职速度不是最快的尤其在是未来这十年。大佬们总结这是“拿着锤子找钉子”更应从product的痛点出发找到最有价值的钉子而不是最适合你锤子的钉子。当然research对于大公司一直也是不可或缺的一部分不光是branding吸引人才储备人才更有一些long-term high impact的难点技术攻关可能需要3-5年长度的持续研发投入毕竟product关注的是短期半年内的效益很多high impact的东西在半年内看不到价值但3-5年后则有巨大的商业价值另一种普遍的模式就是research scientist自己因为喜欢有搞研究的热情通常会选择跟学校合作带intern做纯paper的工作然后自己负责将paper转化落地到产品里亦或公司出数据和算力学校出人才合作双赢。说到升职再给大家科普一下比如在Facebook硕士毕业是3博士毕业是4往上升56到6后可以转manager。朋友打趣说工业界升职路线就是技术engineer——产品manager——销售business-——投资chao gu划掉capital。这个路线将来也是要做选择的某一天可能你觉得赚的已经够了没兴趣再赚了就提前退休养老了。在湾区plaza你看着一个中年人穿着简朴平平凡凡但经常可能就是超级富翁……但如果不退休的话不管是在学校还是公司四五十岁估计都是比较senior了需要负责的事儿多压力大经常晚上周末要加班像我导师这种功成名就的还是时常收到他晚上1点或者早上7点发的邮件。当然有的人退休了又觉得无聊这就回到开头说的想清楚想要什么喜欢什么擅长什么了。8. 杂七杂八Change topic every 5 years毕业那会儿导师说他刚毕业来哥大时师爷跟他说you need to change topic every 5 years。感觉很有道理。如果在博士开始那会儿开始做一个topic做了5年基本这个topic就会饱和了很难再有大的impact。这个时间点差不多刚毕业参加工作如果还是research岗我们就需要像刚开始读博士一样重新选一个新的有impact的topic开始做如果是转production转business那本身就是很不一样的topic了。树挪死人挪活大概就是这个道理。Work vs. Life这也是个复杂需要具体问题具体分析的议题就不展开聊了。我就简单分享一下我所得到的一些advise和一些自己的浅薄体会。1三选二还记得博士入学典礼上院长跟我们分享说未来几年的生活将由三件事组成工作/学习睡觉social/玩但是在某个具体的时间通常只能三选二因为时间和精力是有限的。像我自己的话博士第一学期以及每段实习期间选择的是工作和玩放弃睡觉时间博士第二学期开始则是工作和睡觉为主常常宅家不怎出去。就是按照自己的需求在每个特定的时间段在这三者中做出你的选择对你自己负责不会后悔的选择然后该学学该睡睡该玩玩。2身体会变的最近前浪后浪的话题很火其实很有道理真的很多有影响力的工作就是人在年轻时候精力充沛琐事不多情况下才能做出来的。刚来哥大的时候课业负担和科研任务都很重还要参加些social活动好几次晚上参加完活动回到家通宵写代码7点半天亮了睡两小时然后9点半啥事没有地去上课。。现在想想那会真的是年轻现在让我通个宵第二天工作效率绝对超低。。3做你喜欢做的工作公司里面经常提到所谓work life balance以前我以为这就是对应工作与娱乐但现在意识到其实work也分work input和work funlife也分life input和life fun其实input才是工作fun才是娱乐。input需要我们付出精力疫情期间注意消毒洗手这就是life里多出来的inputfun就是带给我们的快乐和开心工作中做成一件事带来的成就感也是fun。如果要让自己过的更快乐也就回到上一章说的尽量做自己喜欢做的事情增加work fun吧。谈谈灌水有的时候经常听到有人评价一个工作太水了。诚然有些工作是水但如果被顶会接收了我相信它还是有它的价值。有的时候减一减戾气多看到事物好的一面这样我们看这篇paper的时间才没有浪费而是学到了东西不是吗然后有的新手刚入门的时候发的第一篇文章虽是顶会但可能比较naive不过只要这篇文章能给读者带来一些insights让人学到东西我还是支持这样的新手之作的因为确实积累是需要时间和过程的中间这样被顶会认可其实能很好地激励新手去continue科研之路。常怀感激之心一路上得到很多前辈帮助非常感激。在来到Facebook后学会心怀感激感觉是个很明显的公司文化每个月组里的all hands有shoutout session让大家在全组面前表达对工作中帮助了自己的人的感谢公司有#thanks hub, 可以给帮你的人写感谢note而且这个note对方的manager会看到而且很多时候感觉是很小的事情大家也会互相道谢每次开完会大家也会互相道谢。简单的一句thank you真的可以让人幸福感增加不少毕竟很多时候别人并没有义务非要帮助我们这让大家更愿意互帮互助感觉是个特别好的文化。Principles For Success by Ray Dalio疫情期间看到美联储降息我想去了解这背后的原理看了些经济学的文章知道了Ray然后看到了他这个成功方法论。给大家强烈安利非常有价值也适用于各种人网上有个半小时精简版看这个就足够了https://www.youtube.com/watch?vB9XGUpQZY38庚子年 · 岁末Mike 于 旧金山[ 后记: 惭愧在各位老师、大佬面前班门弄斧了若是对于有的同学有点帮助我就很高兴了但不可避免的因为时间有限文章写的粗糙还请多多担待因为篇幅限制有的问题难以讲得完善全面还请结合自身情况辩证地借鉴相关经验或跟您意见不合全当看小说寻个乐子罢了顺祝大家新春愉快平安喜乐万事胜意希望疫情早日过去世界和平… ]后台回复关键词【入群】加入卖萌屋NLP/IR/Rec与求职讨论群后台回复关键词【顶会】获取ACL、CIKM等各大顶会论文集