个人网站 主机,怎样利用云盘做电影网站,济南互联网网站建设价格,如何开一家公司创业2003年夏天的一个周日#xff0c;AI教父Hinton在多伦多大学的办公室里敲代码#xff0c;突然响起略显莽撞的敲门声。门外站着一位年轻的学生#xff0c;说自己整个夏天都在打工炸薯条#xff0c;但更希望能加入Hinton的实验室工作。Hinton问#xff0c;你咋不预约呢#…2003年夏天的一个周日AI教父Hinton在多伦多大学的办公室里敲代码突然响起略显莽撞的敲门声。门外站着一位年轻的学生说自己整个夏天都在打工炸薯条但更希望能加入Hinton的实验室工作。Hinton问你咋不预约呢预约了我们才能好好谈谈。学生反问要不就现在吧 这位年轻学生就是Ilya Sutskever刚刚完成本科二年级的数学课程从教务处打听到“想学机器学习最好去找Hinton教授”。 他照做了也因此成就了一段传奇 从AlexNet到AlphaGo他两次参与改变世界的研究。 OpenAI创立之初挖他去当首席科学家在他的领导下推出了GPT系列早期版本、DALL·E系列、代码大模型Codex直到ChatGPT再次改变世界。 多年后他发动董事会内讧最终与OpenAI彻底分道扬镳全世界都在等待着他的下一个动作。 在OpenAI的时候Ilya并不像Altman那样到处抛头露面也不像Brockman天天在网上分享自己的“编程之禅”。 仅有的几次演讲和访谈中也多是聊技术、宏观思考不常谈及自己的经历最近半年更是销声匿迹。 这次的故事正是来自他的博士导师Geoffrey Hinton。 在与Sana Labs创始人的最新对话节目中Hinton不仅讲了自己的事还回忆了师徒共事期间的一些往事。 20多年过去了很多细节在Hinton的叙述里还是那么鲜活。 这段访谈录像理所当然的火了除了轶事之外还涉及Ilya的一些学术思想怎么来的又是如何发展 2010年Ilya就用GPU开发了一种语言模型 Scaling Law最早是他的一种直觉 两人都认为”语言模型不只是预测下一个token“ 两人都认同“预测即压缩压缩即智能” 个人我当时学压缩算法就觉得香农提出的信息论很神奇 那么Hinton眼中的Ilya到底是什么样子 惊人的原始直觉 Ilya加入实验室后Hinton给他布置的第一个任务是读论文一篇关于反向传播的论文。 下一个周会Ilya回来报告了说“我不理解”。 Hinton很失望内心OS“这孩子看着挺机灵的咋连链式法则求导这么基础的东西都看不懂” Ilya连忙解释哦这个部分我懂了我不理解的是为什么不给梯度加一个sensible functional optimizer Hinto团队后来花了好几年来解决这个问题最初指出问题的却是刚入门一周的Ilya。 像这样的情况后面还在反复发生……Hinton如此评价Ilya 他对事物的原始直觉总是非常好。 但Hinton也说搞不清楚Ilya这种直觉从何而来或许归功于他从小就对人工智能问题感兴趣再加上数学基础很棒。 除了研究直觉学生时期的Ilya也展现了超强的代码和工程能力。 当时还没有TenserFlow或Torch之类流行框架机器学习的主要工具和平台是Matlab。 一项工作需要在Matlab里调整大量矩阵乘法代码Ilya做了一段时间就很不耐烦说要为Matlab写一个界面 我用其他Python等更方便的语言写代码然后能自动转成Matlab代码就好了。 Hinton听说后苦口婆心劝他你可别这得花上一个月时间我们不要分心把手头项目先做完。 Ilya却轻描淡写地说害没事今天早上我已经写完了。 打小就坚信Scaling Law 正如Hinton所言Ilya在很多问题上有惊人的直觉。 今天全AI圈不少人信奉的Scaling LawIlya学生时代就已坚信并抓住各种机会向身边的人安利 只要把模型做得更大它们就会发挥更好的作用。 后来到OpenAI成立之处Ilya的表述更加完善了 如果你有一个大而深的神经网络可以在大量数据上进行训练那么你实际上可以解决任何模式识别问题。 早年间Hinton看来这就像是研究者在没有创新的想法时一种“逃避责任”的表现。 当时的我错了而Ilya基本上是对的。 比如Transformer确实是一种创新想法但实际上起作用的还是规模数据的规模和计算的规模。 Hinton提到在当年那个时间节点没人敢预料计算机速度今后会快上10亿倍最多想象到快100倍就不得了。 如果有今天的计算机当年研究的难题可能会自行解决包括语言模型问题。 此处应插入比尔盖茨曾预言64k内存就足够任何人用了笑话) Ilya在2003年加入Hinton的实验室不知具体何时开始有了Scaling Law的想法可能在他脑海里已经盘旋了20多年。 后来直到2020年GPT-3发布的几个月前OpenAI团队才正式在论文中向世人完整定义和介绍这一理念。 在语言模型上用GPU比AlexNet更早 2010年底Ilya和另一个学生James Martens现DeepMind研究科学家合作研究了一种语言模型后来入选ICML 2011。 RNN架构使用维基百科数据在8张当时最先进的GPU上训练比在AlexNet上使用GPU还早两年。 与今天的大语言模型预测下一个token不一样当时他们尝试的是一次预测一个字符。 这款模型能力有限比如给一段起始文字模型可以继续生成看起来像维基百科文章的语句。 虽然语意上像是胡言乱语但语法和标点符号大部分是准确的引号和括号已经能成对出现主语和动词形态一致比如论文中的一段 生命的意义是古代人类繁殖的传统对于好男孩什么时候移除她更大的来说并不是很有利。在这个节目的协议中几乎一致地重新浮现…… 当年的Ilya并不愿意讨论这项工作的潜在应用。 在维基百科上成功后团队又尝试了纽约时报文章数据目标是教会它根据文字识别不同作者的身份。 但Ilya已经想到并承认如果做的足够好这项技术有一天可能成为洗稿软件的基础。 如今这篇论文的代码依然存放在多伦多大学的服务器上供感兴趣的人研究。 不止是预测下一个token 后来的AlexNet、师徒三人“拍卖”自己加入Google等大家已熟知的故事这里先略过。 Ilya加入OpenAI后虽然不再与Hinton共事但两人的学术思想始终在一条路上。 ChatGPT问世后不少人批评大模型本质上只是统计学预测下一个token就像随机模仿人类说话的鹦鹉。 但Hinton和Ilya师徒二人都认为远不止如此。 在Hinton眼中问题之后的下一个token便是答案的第一个token。 因此学会预测就意味着必须学会理解问题。 这种理解的方式与人类相似同时与老式基于三元组数据的自动补全有根本不同。 今天我们现在已经看到了做一个大语言模型不刻意训练其推理能力就产生了推理能力。 这就是大脑如何学习你在预测视觉的下一帧、听觉的下一个声音。 Ilya更是不遗余力传播这套理论在去年和英伟达老黄的炉边对话中说了这个在OpenAI内讧两周前最后一个公开采访中也讲了这个 当我们训练一个大型神经网络来准确预测互联网上许多不同文本中的下一个单词时我们所做的就是学习一个世界模型。 从表面上看可能只是在学习文本中的统计相关性。 但事实证明为了“只是学习”文本中的统计相关性为了压缩它们神经网络需要学习的是文本生成过程的某种表示。 文本实际上是对世界的投影。 在另一场采访中他走的更远 很好地预测下一个token意味着了解创造该token的深层现实。 这不仅是统计学而是理解创造了这些统计数字的那个世界。 如果真的很擅长预测下一个token就可能根据普通人如何行动的数据外推出拥有非凡智慧和洞察力的人如何行动尽管这种人可能并不存在。 这就是Ilya认为的为什么“预测下一个token”范式有可能抵达AGI甚至有可能超越人类直至ASI。 预测即压缩压缩即智能 在不同场合提到“预测下一个Token”时Ilya大概率会同时提到“压缩”他认为预测即是压缩压缩就是智能的来源。 但Ilya总是从理论的角度去解释这个想法并不容易让所有人都能理解。 比如在UC Berkley的一场演讲中他这样解释 “Kolmogorov压缩器”是理论上能生成特定数据集的、长度最短的一段程序能最小化遗憾值。 随机梯度下降可以看成在软计算机比如大型Transformer的权重里搜索隐含的“Kolmogorov压缩器”。 神经网络越大就越能更好的近似“Kolmogorov压缩器”遗憾值越低。 Hinton也认同这个说法并且在访谈中举了非常形象的例子。 大模型做的是寻找共同结构使用共同结构编码事物这样效率更高。 如果你问GPT-4堆肥和原子弹相似性在哪大多数人类都回答不出来认为它们是非常不同的两种东西。 GPT-4会告诉你虽然他们的能量规模不同时间尺度不同但仍有相同之处 当堆肥变热时产生热量的速度就更快。 当原子弹产生更多中子时产生中子的速度也更快。 通过类比AI就理解了“链式反应”的概念。 Hinton认为AI在利用这种理解去将所有信息压缩到自己的权重中。 一但AI这样做了那么它就有能力理解数百种人类还未见过的类比这就是创造力的来源。 Hinton眼中什么是好学生 说回到两人相遇时Hinton谈到与他交谈没多久就能看出他很聪明。 再多交谈一会就能发现他有很好的直觉而且擅长数学。 所以选Ilya做学生是非常容易做出的决定。 那么如何挑选其他学生Hinton也用了Ilya最擅长的方法跟着直觉走。 如果一个人轻信别人告诉他的一切那就太致命了。 不轻信他人而是尝试将新信息融入自己对世界的理解框架中如果融入不进去就拒绝这是很好的策略。 如果试图吸收被告知的一切最终会得到一个非常模糊的框架。相信一切但是没有用处。 所以Hinton眼中的好学生应该拥有一个坚定的世界观并试图摆弄输入的事实以适应你的观点。 这样虽然也可能陷入深信宗教或坚持致命错误但我认为这种方法仍是正确的。 后来我们也能看到两人都是秉持这样的理念坚持着“大模型不止是预测下一个token”坚持着“预测即压缩压缩即智能”。 他们也都坚持认为这个世界应该更加重视AI带来的风险一个因此离开了工作10年的Google一个因此离开了一手拉扯大的OpenAI。