聊聊工业界“AI算法创新”乱象

000cb44d89e56b9364eb0d8bf5161383.png

文 | Sirius

几天前,卖萌屋的一期推文《AI凉下来了?这可能是个好事》在短短几小时内获得近百次点赞在看和800多次转发,引起了不少小伙伴的共鸣。不过由于批判和叙事太过露骨,打马不彻底,导致删文。

删文后,这几天来找文章的小伙伴络绎不绝,精力所限无法一一回复,于是采纳读者小伙伴的建议,决定对原文作“和谐处理”后重新推送,就有了本文。本文尽量维持了原文中心思想的表达。

为防失联,欢迎添加微信xixiaoyao-1,吃瓜不迷路。

今年的 NLU 算法领域,可谓是一片萧索,前有各大财力雄厚的机构接连不断祭出了各种千亿级大模型,或万亿级 MoE 大模型,彻底终结了榜单游戏;后又有大家开始纷纷反思,我们这么接连不断地打榜,究竟在忙活一些什么。浪潮之后,一片寂静,今年各大顶会也都在如期进行,但是 NLU 领域上,似乎没有看到什么引起反响的工作。

4a3beac9012d120f9ce975d66f6c75d2.jpeg

虽然笔者就是做 NLU 的,方向在学界凉了,故事没得说了,总归有种风光不再的感觉。但是,如今刷分游戏被终结,哪怕并不是大家想清楚了,而仅仅是没得刷了,在笔者看来,仅仅是这个现象出现了,也会是一件好事儿。

因为——这至少代表着,那些仅仅是一些过拟合的 trick,甚至可能仅仅是随机种子影响的分数,但碰巧造出来了所谓“新SOTA”,足以博眼球的时代,暂时地过去了。笔者所在的工业界,也不再轻易被那些放水的工作牵着鼻子走了,随着经济形势不乐观,没钱烧了,工业界几乎180°大转弯转向了务实。而大模型时代的终结,也意味着学界大牛们的精力,可能终于要放到框架的革新上了。

不过,有趣的是,在如今的时代,在工业界里面,仍有些想不清楚的人和工作,在以三年前“复古”的方式努力着,做着时代的“逆行者”。

时代的逆行者

西江月·通辽怀古(小约翰)

三亚立夏供热,重庆大暑乘凉,小雪内蒙卖蚊香,大寒新疆冲浪。

清欢寻味川蜀,麻辣觅食珠江,无锡宴会不吃糖,海鲜进口西藏。

山神庙外谈往事,飞云浦上偷(tóu)袭(xī),浔阳楼内把诗题,快活林中卧,携宝过黄泥。

白马阵前插标首,汜水关下战急,奉先子师迎登基,割须弃袍日,跃马过檀溪。

例如,有的团队创新功底不足,基础效果也没有做过竞品,但是为证明自己的价值,他们选择了“硬打出来差异”的路子。

比如为了解决某个经典的NLP问题,他们首先 copy 了业界的某个 SOTA 工作。

但仅仅 copy 了一个工作,并不能体现出自己的算法创新能力,于是该团队就“开创性”地在这个 SOTA 模型上叠加了 prompt。

这点改动就成了团队对内对外尬吹的“创新点”。

关于 prompt,卖萌屋也出过不少原创文章了,格局打开,带你解锁 prompt 的花式用法 中,介绍了 prompt 生效的原理和前提,简而言之,prompt 原理就是“套话”,套取模型在预训练阶段记忆到的东西。笔者愚钝,想不出在一个复杂的 NLP 模型里面输入了 prompt 带来的增益会在哪里。prompt 本身的一些细微差别,即可能导致隐层表示大不相同,且复杂模型也会消解 prompt 所带来的分布差异。

与上面案例类似的尬创新现象在工业界比比皆是。如果说10年前,大家都不熟悉深度学习,那做一些如今看起来明显不合逻辑的创新、试错倒也无可厚非。

但如今2022年了,明知一些“创新点”是在毫无道理的强行加戏,却非要浪费人力、财力去尬做、尬上线,最后甚至对外尬吹,实在是让懂深度学习且三观正常的从业者有些看不下去。

是什么造就了这种乱象

那么,是什么样的思潮,造就了国内工业界这种浮夸的“伪创新”乱象呢?笔者认为,有以下几点:

  1. 迷信大模型

  2. 分不清算指标和应用

  3. 看不清需求范围

迷信大模型

笔者其实不止一次听工业界的朋友们说过,大模型能够做一切事情,大模型拥有了智能,大模型能够创造出新的风格,甚至包括最离谱的,大模型能够做逻辑演算等等的说法。这其中也不乏如 DeepMind 为了骗股价、博眼球,发表的一些乱七八糟的报告,也有营销号们不加掩饰的吹嘘,助长了这种浮夸的风气。卖萌屋文章 《DeepMind 发了篇论文,把我看笑了》 也曾有详细的吐槽。

今天,笔者想在此基础上,题外话的补充一下最近很火热的文生图的讨论。

38c1150524f33b6db7102478c1d370c9.png

如今,文生图模型不仅在模仿已有作画风格上有了极大的建树,同时似乎也创造出了一些“离经叛道”的东西——其似乎“独创”了一些别样的艺术风格,看上去,它学会了“创造”。这自然又会引起大规模的讨论:AI 是否要取代画师了?AI 是否真正学会了艺术创作?

我以浅薄的艺术素养,大致将艺术风格突破分为两类,一种是已有不同艺术风格的融会贯通,另一种则是天才的大胆突破,横空出世。而第一种,恰恰可以看作是一个搜索组合游戏。人借助自己的阅历,各取一点他山之石,生发新的东西,但囿于浏览效率、精力、寿命等限制,我们穷尽一生,见过的、记住的、深究过的东西终究十分有限,在 AI 强大算力的面前,仅仅是沧海一粟,所以第一种艺术风格的再创造,反倒正是 AI 所擅长的。

归根到底,人对“美”的穷举和想象,远远不及世界的尽头。甚至,人对自身认知本身的认知,可能也远远未达边界。正如张钹院士常引,“我们不知道我们的知道”,以及“我们不知道我们的不知道”远远超过了“我们知道我们的知道”。而面对 AI 穷举、展现给我们的一些筛选、优化的组合,不妨拥抱它,将之作为有力的助手,用于创造新的美好。

此时此刻,恰如彼时彼刻。

0deee8d5e47c21387afcd2b65eab2422.jpeg

几年前,Alpha Go Zero 横空出世,几乎以压倒性的姿态,打赢了彼时最强的棋手柯洁。在它之后,围棋 AI 出现在各大围棋平台中,成为了棋手们的训练对手。在围棋高手们的眼里,AI 似乎完全没有传统认知上的“棋理”、“棋路”,不会去讲究“阵型”,更遑论“哲学”、“文化”,其诞生的唯一目的就是赢得竞技比赛。竞技棋手们为了提升自己“赢得比赛”的能力,也逐渐转向了 AI 下棋的思路,通过足够多的对局,追求更加有效率的取胜方式。棋手们也纷纷感叹:AI 出现了之后,围棋渐渐失去了它的味道。

以围棋为中心,所衍生出的文化,以及哲学,仍会在各自的领域散发光芒,但是以取胜为唯一目的的竞技围棋,却又变回了启发式搜索游戏,我们穷极千百年,无数的高手,以经验主义得出的所谓棋理、棋道,终抵不过 AI 海量对局,得到的最优搜索路径——在固定规则中,最快地找到最优解,正是 AI 所擅长的

但围棋,也并没有失去它作为一个游戏、一种文化本身的韵味,职业竞技棋手,也并未消亡。

所以,我们可以看到,尽管大模型已经展现出了神奇的效果,但是说它无所不能,或者说它有了智能,或许就过于得扯淡了。而如果身为业内人士,相信了这路论调,也只能说,难怪在白费劲了。

分不清算指标和应用

在我们做的工作还在务虚,追求所谓“影响力”的时候,想要做出成果是无比简单的——拉下来公开的测试集,不断地过拟合(手段多样,包括但不限于集成,用 test 搜数据搞预训练),跑个最高分,然后宣称我们业界最强就行了。

诚然,在 test 上算指标,的确是最有效率的一种评估方式,工业界在评估算法的时候,往往也会用这种方式来定性,在标准测试集上跑出高分,是某一工作成立的必要条件之一。而在这种评估方式之下,错了就错了呗,case 就仅仅是 case,仅仅是拿出来分析的时候用一用就好了,我们也不必想要去解决它。

而这种方式如果直接应用在产业上,则会给我们提供更大的便利——毕竟测试集都是自己定义的了,如果算法调不上去,我们就可以去调整测试集,当然在工业界,有另外一种叫法:调整问题范围,无论怎么样,我们都能够把分数做高,大家皆大欢喜——除了应用方。

outside_default.png

在卖萌屋的历史文章 《Google掀桌了,GLUE基准的时代终于过去了?》 中,曾详细讨论了多个数据集共同计算指标的危害。这里就不多做赘述了。

笔者曾经接触过一个团队的研究工作,其汇报上来的测试指标非常的好,但是到了实际应用中,效果骤降到难以接受的水平,追问之下,才知道,测试集是被干预过的,简而言之,就是测试集被一个复杂的预处理策略筛选过,分布之外的数据都已经被预处理卡掉了。

有没有觉得很离谱??

但在国内的工业界,笔者对这类事情却有些看麻了。

实际上,真正在做应用上的算法的人,真正在产业中的人,从来不会把测试集上的那几个分数,当作是唯一的评审依据。一个算法是否可用,向来会经过复杂的检验,其中包括完备的测试流程、用户表现上的反馈等等。而仅仅在极少数测试集上跑出了几个分数,却有各种各样的前置条件,又要满世界吹嘘自己业界最强,最终也只是圈地自嗨,贻笑大方而已

看不清需求范围

实际上,很多 NLU 的打榜任务,可能仅仅是由学界假想出来,或者在 case 中看到,就直接收集数据集,将之做成了一个基准任务了。前些年卷出天际的时候,水文们看到了这样新鲜、复杂的基准任务,自然要扑上去吮吸一番,毕竟先到先得,又能复用一批 trick,又是一批顶会文章,又养活了不知道多少人。

但是回到工业界,我们就得看看,这些任务,是否可以作为需求,在实际的产业中存在?如果可以,需求范围又有多大?是否达到了必须得用模型才能解决的程度?

例如,复合词的拆解,这个需求,在产业中的确有用得到的地方,比如拆解了之后,更方便做实体归一和链指,其结果可用于支持问答、搜索等场景。不过,无论是用映射表,构造词汇学的规则,还是结合了大规模用户行为数据,起码在线上应用场景,复合词的归一和链指都被解决得不错。那么,一个问题,出现在哪儿?规模多大?是否一定要放在基础层解决?各方案性价比是什么样子?都是应当去想清楚的事情。

又比如,表格内容理解,如将表格转换成结构化数据,或者将表格里面的东西抽出来。这的确是一个可以玩一玩的问题,但是在真正的工业上,做这个事情是要干嘛呢?例如,我为什么要将一个半结构化的数据,转换成另一个结构化的数据?我为什么要将里面的特定信息抽出来,干什么用呢?搜索?问答?但是,如果是搜索和问答的话,现在 DeepQA 已经做的相当好了啊,如果我把表格打平了,变成 DQA 能够理解的格式,喂进去,是不是更香呢?

outside_default.png

再延伸一下,比如,开放域信息抽取。

当然,笔者承认,领域信息抽取是非常有意义的,首先,领域文本,大多数表达方式单一、集中,而将这类文本中特定的信息抽取出来,或用于填槽,或用于下游很多的辅助任务,比如医疗领域的辅助诊疗等,且领域的知识绝大多数也只存在于专业文档中。

但是到了开放域,问题就复杂得多了。首先就是,表达形式相当多样,且相当多的通用表达里面,是不包含 schema 里面定义的 SPO 的,意味着,高质量的标注样本就很难拿到,遑论把句式给训练好了。而如果记忆事实知识……这个问题卖萌屋的文章已经讨论过很多次了。

其次,信息抽取任务起初被设计出来,是为了构造知识图谱,但尴尬的是,现有的大规模知识图谱,基本上没有用信息抽取算法构建起来的,基本都是使用大规模、多源头、由人工编辑而得的结构化数据,辅之以大量的归一、消歧策略而成,说一句略显嘲讽的话,知识图谱构建,真的是使用了“人工”智能。我们也可以放眼业界,看看有哪个通用信息抽取模型,真正地落了地。

哪怕,我们放开知识图谱不谈,认为信息抽取的结果可以当作问答特征,那么,还是上面的问题,为什么不直接拥抱 DQA 呢?

又例如,知识图谱构建中的实体归一,及 SPO 归一。实际上,自动的归一方法,业界几乎没有人做好过,我们也能够看出些许问题。例如,在飞机领域,教练机和指导机,如果没有相关背景,是否知道它们的区别是什么?桃花和山桃花,如果没学过,是否能够知道这两个压根不是同一个物种?芒果和杧果又有什么区别?甚至,大熊猫、熊猫、猫熊这三者又要怎么分辨?我们无法假设,所有这些实体我们都有充分的语料去区分它,哪怕有了语料,其细微的区别我们也无法假设模型能够捕获它。

我们看中深度学习模型,就是看中它的泛化能力,可是上面那些 case,如果不特殊对待,模型泛化起来,谁也不知道会发生什么,这在应用上一定是不允许的,但是如果特殊对待了,首先是否会影响模型的其他部分,其次,我们处理一次这种 case,要枚举多少数据?花费多少时间?是否值得?而如果我们把这类 case 都放到人工规则干预,是否性价比更高些呢?

SPO 归一同样,实际上,在自然语义表达中,P 的语义可以说根本是不靠谱的,那么又只能像远程监督一样,用 S 和 O 去约束、归一,但是这又会有多少种情况呢?最终是不是又变成了 garbage in garbage out 了?

总结

综上,我们可以看到,不少工业界团队的问题,总结起来就是:

太渴望创新了,却又没有算法功底支撑;放弃思考,只想生搬硬套。他们往往过于相信大模型,认为所有的问题都可以通过大模型解决,同时又信了搞大模型的那些论文的邪,将自己过多的精力放在了测试集打榜上,从而忽略了自己的立足点——我的问题是什么,这个问题到底有多大的价值。

“什么问题可以放在基础模型层解决,什么问题应该靠上层应用策略解决”,这种策略分层能力是每个AI团队的负责人必备的素质。负责人需要有足够清醒的头脑,及对行业有充分的洞察,不要再为创新而创新了。

0f1b3fe3d80d05266c29012f63a21932.jpeg后台回复关键词【入群

加入卖萌屋NLP、CV、搜推广与求职讨论群

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/476931.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

个人编程思想理解的片段(主要是面向对象的,参考了许多人的观点,还不成熟,没形成系统,请大家多指点)...

编程思想的发展 面向过程 面向对象 新的发展对面向对象的补充有 面向方面面向对象的三种表现效果 封装 继承 多态面向对象的实质 用类对现实世界进行抽象,用对象对现实世界的存在和运行进行模拟,使程序世界更加接近于现实世界。 封…

LeetCode 1391. 检查网格中是否存在有效路径(BFS)

文章目录1. 题目2. 解题2.1 BFS2.2 爆栈的DFS2.3 不爆栈的DFS1. 题目 给你一个 m x n 的网格 grid。网格里的每个单元都代表一条街道。grid[i][j] 的街道可以是: 1 表示连接左单元格和右单元格的街道。2 表示连接上单元格和下单元格的街道。3 表示连接左单元格和下…

软件oem要注意什么_化妆品OEM客户要着重注意这3个基本点,不然就吃大亏了

作为品牌方客户,确定化妆品OEM代工后,虽然生产的一切事务由化妆品OEM工厂完成,但是仍然需要注意这3个基本点!1. 合规性首先,产品只有备案流程全部完成,并且通过后才能进入市场销售,正常情况下是…

沉痛悼念!中国NLP 先行者、机器翻译鼻祖刘倬逝世

作者 | 李梅编辑 | 陈彩娴来源 | AI科技评论AI 科技评论获悉,中国机器翻译事业的开创者之一、原中国社科院语言研究所研究员刘倬老师与世长辞,享年 89 岁。沉痛悼念刘倬老师!刘倬,1933 年 4 月 4 日生于河北省大成县。1949 年从北…

今天很累……

今天,用了一整天时间去研究解决Tapestry3.0的StaleLinkException问题,可能太集中精神了,下午到了快下班的时候感到十分疲倦,眼睛有点痛。Todays Conclusion:天外有天,人上有人,任何时候都需要自…

如何 给给软件开发 添加 代理_如何与软件开发公司有效沟通

从最初的想法到可运行的软件,软件开发过程是十分繁杂的,既不想被细节淹没,又希望留有控制力,与软件开发公司沟通要如何做才能事半功倍呢?1,共享业务语义所谓业务语义,就是需求背后所思所想&…

LeetCode 1392. 最长快乐前缀(KMP)

1. 题目 「快乐前缀」是在原字符串中既是 非空 前缀也是后缀(不包括原字符串自身)的字符串。 给你一个字符串 s,请你返回它的 最长快乐前缀。 如果不存在满足题意的前缀,则返回一个空字符串。 示例 1: 输入&#x…

火到海外破圈!这个国产AI项目GitHub标星8.6k,价值千万

Q:最顶尖的AI技术到底离我们有多远? A:三行Python代码的距离。 导读 今天小编为大家推荐一个AI领域相当优秀的项目, 粗略估计,这个项目价值超过千万, 当前star 8.6k,大胆预判,这个项…

让互联网助小组合作一臂之力

利用互联网实现小组合作,目前显然还有诸多不便,原因何在?许多人都在网上实现了互联,小组合作似乎应该有诸多便利。但为什么维护一个可供小组其他成员共享和编辑的文件夹依然困难重重?为什么如果大家不使用相同的即时通…

程序员面试金典 - 面试题 10.05. 稀疏数组搜索(二分查找)

1. 题目 稀疏数组搜索。有个排好序的字符串数组,其中散布着一些空字符串,编写一种方法,找出给定字符串的位置。 示例1:输入: words ["at", "", "", "", "ball", "", "&…

颤抖吧,打工人!Meta研发裁员算法,Xsolla用AI模型打绩效??

撰稿丨千山审校丨云昭来源丨51CTO技术栈这几个月来,微软、谷歌、甲骨文、苹果等一众科技巨头纷纷裁员。日前,Meta成为又一家启动大规模裁员的科技公司。在这波裁员潮中,Meta的操作引起了诸多争议。争议焦点在于它将裁员的决定权“交”给了算法…

android制作相册浏览器_一分钟简单制作一个专属于自己的卡通头像

制作一个专属于自己的卡通头像很简单,我们常用的美图秀秀软件就可以轻松制作。首选在应用市场搜索美图秀秀下载后选择工具箱打开,找到实用工具中的动漫化身这个选项;打开后点击绘制动漫形象,可以在相册中选择一张提前保存好的头像…

用MS SQL Server事件探查器来跟踪数据库的操作

在MS SQL Server中,除了我们常用的企业管理器和查询分析器之外,还有一个非常有用的工具——事件探查器。由于这两天,我需要知道一个ASP.NET程序对某个数据库的哪些表进行了哪些操作,所以才发现了这个工具的好处! …

程序员面试金典 - 面试题 05.02. 二进制数转字符串(浮点型 转 二进制小数,乘2取整)

1. 题目 二进制数转字符串。给定一个介于0和1之间的实数(如0.72),类型为double,打印它的二进制表达式。 如果该数字不在0和1之间,或者无法精确地用32位以内的二进制表示,则打印“ERROR”。 示例1:输入&a…

blob数据类型_MySQL的数据类型

一,MySQL的数据类型数据类型是定义列中可以存储什么类型的数据以及该数据实际怎样存储的基本规则数据类型限制存储在数据列列中的数据。例如,数值数据类型列只能接受数值类型的的数据在设计表时,应该特别重视所用的数据类型。使用错误的数据类型可能会严…

仿真方面的文章

仿真方面的文章:献给初学者 promodel, em_plant离散事件系统仿真技术主要用于解决复杂系统管理中的决策问题,这里的管理具有广泛的意义,既可以是企业,工作的计划,调度和销售管理,也可以是导弹防御&#xff…

科技部发布新规:论文挂名属于学术不端,记入科研诚信数据库!

文 | 募格学术源 | 科技日报、科技部时隔三年后,《科研诚信案件调查处理规则(试行)》迎来修订版。9月14日,科技部、中央宣传部等二十二部门印发《科研失信行为调查处理规则》(以下简称《规则》)&#xff0c…

C++ 内存对齐 及 引用是否真的节省内存的一点思考

文章目录1. 内存对齐2. 递归中的内存对齐3. C引用的本质4. 致谢1. 内存对齐 通过以下语句&#xff0c;获取变量的占用内存打下&#xff1a; cout << "size of int " << sizeof(int) << endl; cout << "size of int& " <&…

小问题,对递归重复调用的改进,一起来分享

Problem设有一头小母牛&#xff0c;从出生第四年起每年生一头小母牛&#xff0c;按此规律&#xff0c;第N年时有几头母牛&#xff1f; Input本题有多组数据。每组数据只有一个整数N&#xff0c;独占一行。(1≤N≤50) Output对每组数据&#xff0c;输出一个整数&#xff08;独…

拦截游戏窗口被移动_Ruined King官网版-拳头rpg Ruined King游戏最新版下载v1.0

Ruined King是一款暗黑风格的动作冒险类手游&#xff0c;游戏采用回合制战斗方式为玩家进行呈现&#xff0c;多种强大的英雄需要玩家进行召集&#xff0c;大幅度提升角色的战斗力&#xff0c;丰富的任务等着玩家来完成&#xff0c;游戏中还有非常经典的剧情让玩家进行了解&…