关于NLP自监督学习,面试时被问崩溃了!

不要错过文末福利❤

ad5776de2635588c433327321b2528de.png

扫盲自监督无监督

(有不少同学还答不上来自监督和无监督真正的区别,我不是针对谁。)

无监督学习:无监督学习不依赖任何标签值,通过对数据内在特征的挖掘,找到样本间的关系,比如聚类相关的任务。

自监督学习:和无监督学习不同,自监督学习主要是利用辅助任务 (pretext)从大规模的无监督数据中挖掘自身的监督信息,通过这种构造的监督信息对网络进行训练,从而可以学习到对下游任务有价值的表征。

总结:自监督学习的监督信息不是人工标注的,而是是通过辅助任务 (pretext) 在大规模无监督数据中自动构造监督信息,通过得到的标签,就可以类似有监督学习一样进行训练。

933cccb8d927c1e4653ff089d8682ef1.png

自监督无监督发展

自监督学习cv方向的视频,医学图像,自动驾驶等领域发展态势十分良好,比如基于对比学习的自监督学习方法《moco》的提出就对cv领域的相关研究产生了深远的影响。

同理,自监督学习在推动自然语言处理(NLP)领域取得了巨大成功,包括Collobert-Weston 2008 model, Word2Vec, GloVE, fastText等。系统以这种方式进行预训练产生的性能要比仅以监督方式进行训练时高得多。

0ae6acd9db6a78ffe9927128ad59cd41.png

nlp从哪入手自监督学习

掌握自监督无监督学习在nlp领域的技术演化,就是在打地基!16号晚深度之眼邀请到5年深度学习和机器学习经验,在ICDM等会议发表多篇学术论文的赵老师来为大家讲解自监督无监督在nlp领域的技术发展要点,以及对比学习的重点。从经典论文cpc(《Representation Learning with Contrastive Predictive Coding》)入手,带你吃透nlp自监督学习。最后还有nlp自监督学习学习路径推荐!内容丰富,超值干货,不容错过。

8f6b1ba28ec2992c6b1ad88b74b27b03.png

扫描下方二维码

0.1元购课

8d456f466b84e12428012b128c1aaad2.png

购课后添加小享

以免错过直播通知

并领取福利(文末)

908c498f180f072eafcf10abba4319b4.png

直播剧透

1.自然语言处理自监督发展历程与前进方向

2.技术演化路径

3.NLP预训练技术串讲

4.NLP中的对比学习

5.经典论文CPC讲解

6.学习路径推荐

扫描下方二维码

0.1元购课

c3dd160041837f46c753f5cc1d2b1592.png

购课后添加小享

以免错过直播通知

并领取福利(文末)

d08cb9ea53cba8dcf2ac771f60a4072c.png

文末福利

价值198元的AI环境配置教程

购买自监督课程后加小享免费领取!

820eff9be55b559650de51e377bb5217.png

扫描下方二维码

0.1元购自监督

aca0c97783b46cae1f9e941700a1b6bc.png

购课后添加小享

领取AI环境搭建学习视频

本文部分内容来源于网络侵删

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/477166.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

智能支付稳定性测试实战

本文根据美团高级测试开发工程师勋伟在美团第43期技术沙龙“美团金融千万级交易系统质量保障之路”的演讲整理而成。主要介绍了美团智能支付业务在稳定性方向遇到的挑战,并重点介绍QA在稳定性测试中的一些方法与实践。 背景 美团支付承载了美团全部的交易流量&#…

程序员面试金典 - 面试题 16.01. 交换数字(位运算swap)

1. 题目 编写一个函数,不用临时变量,直接交换numbers [a, b]中a与b的值。 示例: 输入: numbers [1,2] 输出: [2,1]提示: numbers.length 2来源:力扣(LeetCode) 链接:https://le…

阿里巴巴达摩院对话团队招聘研究实习生!

招聘贴投放请联系微信xixiaoyao-1阿里巴巴-达摩院-对话智能团队正在招募研究实习生!团队介绍达摩院对话智能(Conversational AI)团队成立于2014年,专注于人机对话前沿研究和大规模应用,打造了任务型对话开发平台 Dialo…

人物志 | 技术十年:美团第一位前端工程师潘魏增

导读 潘魏增,2006年毕业于南开大学电子系,2008年加入早期饭否团队。美团第一位前端工程师,现在是X项目组终端研发部的负责人。处女座,INTJ,喜欢Linux和Vim,崇尚开源,相信开源可以让世界变得更美…

程序员面试金典 - 面试题 04.02. 最小高度树(二叉搜索树中序遍历)

1. 题目 给定一个有序整数数组,元素各不相同且按升序排列,编写一个算法,创建一棵高度最小的二叉搜索树。 示例: 给定有序数组: [-10,-3,0,5,9], 一个可能的答案是:[0,-3,9,-10,null,5],它可以表示下面这个高度平衡二…

算法岗校招已成“人间地狱”,还有办法上岸吗

由于一系列众所周知的原因,算法岗的竞争越来越激烈,知乎上有个问题,形象的将算法岗的秋招形势比喻成了“人间地狱”。虽然有夸张的成分,但也一定程度上反映了如今算法岗“僧多粥少”的现状。内卷焦虑、网络偏差影响下,…

LintCode 1753. 写作业(二分查找)

1. 题目 n个人,他们每个人需要独立做 m 份作业。 第 i 份作业需要花费 cost[i] 的时间。由于每个人的空闲时间不同,第 i 个人有 val[i] 的时间,这代表他做作业的总时间不会超过 val[i]。每个人都按照顺序,从1号作业开始&#xff…

美团容器平台架构及容器技术实践

本文根据美团基础架构部/容器研发中心技术总监欧阳坚在2018 QCon(全球软件开发大会)上的演讲内容整理而成。 背景 美团的容器集群管理平台叫做HULK。漫威动画里的HULK在发怒时会变成“绿巨人”,它的这个特性和容器的“弹性伸缩”很像&#xf…

全球1000+研究员在Twitter直播训练超大模型??

文 | 王思若将视角转换到2020年,OpenAI发布了拥有1750亿参数量的GPT-3, 在阅读理解、语言翻译、问答等多种任务展现了令人惊艳的效果,算法工程二者结合展现了大模型的“暴力美学”,也同时开启了千亿、万亿参数模型的 “军备竞赛”。从模型框架…

LintCode 1671. 玩游戏(贪心、难)

1. 题目 N 个人在玩游戏,每局游戏有一个裁判和 N-1 个平民玩家。给出一个数组 A, A[i] 代表玩家 i 至少需要成为平民 A[i] 次,返回最少进行游戏的次数。 样例 1: 输入:A [2, 2, 2, 2] 输出:3 解析: A[0] 2表示玩家…

美团点评基于 Flink 的实时数仓建设实践

引言 近些年,企业对数据服务实时化服务的需求日益增多。本文整理了常见实时数据组件的性能特点和适用场景,介绍了美团如何通过 Flink 引擎构建实时数据仓库,从而提供高效、稳健的实时数据服务。此前我们美团技术博客发布过一篇文章《流计算框…

机器翻译做到头了?Meta开源NLLB翻译模型,支持200种语言互译

文 | Alex(凹非寺)源 | 量子位这个翻译模型,不仅支持200语言之间任意两两互译,还是开源的。Meta AI在发布开源大型预训练模型OPT之后,再次发布最新成果NLLB。NLLB的全称为No Language Left Behind,如果套用某著名电影,…

LintCode 1652. 区间异或 II

1. 题目 给定数组 A(下标从0到n-1,n为数组长度),和一个查询列表。 每一项查询包括两个整数 i 和 k。 对于每次查询,计算Ai, A(i  1), ..., A(ik-1)的异或值。结果保存在列表中。 样例1 输入: A [1,2,3,4] and …

美团外卖Android平台化的复用实践

美团外卖平台化复用主要是指多端代码复用,正如美团外卖iOS多端复用的推动、支撑与思考文章所述,多端包含有两层意思:其一是相同业务的多入口,指美团外卖业务需要在美团外卖App(下文简称外卖App)和美团App外…

智源承认论文抄袭,相关责任人已离职!

文 | 金磊Alex(凹非寺)源 | 量子位“2处属于抄袭,4处引用不规范。”“相关责任人均已主动离职。”“大模型研究中心部门重组。”……一篇名为A Roadmap for Big Model、由百人联合完成的综述报告,因涉嫌抄袭在国内外学术圈引发了不小的关注。对此&#x…

LintCode 1689. k求和III(递归)

1. 题目 给出 n 个正整数和整数 k 以及一个目标数字 target. 在 n 个数中找出 k 个奇数 或 k 个偶数 使得和为target,输出方案数 样例 1: 给出 [1,2,3,4], k 2,target 4, 返回 1 输入: [1,2,3,4] 2 4 输出: 1 解释: 只有一个方案:[1,3].样例 2: 给…

美团扫码付小程序的优化实践

短短几年的时间,微信小程序已经从一颗小小的萌芽成长为参天大树,形成了较大规模的开发者生态系统,尤其是在支付、线下垂直领域潜力巨大。 作为领先的生活服务平台,美团的技术团队在小程序领域也进行了很多的探索和实践。像mpvue就…

谈谈算法岗简历优化与面试技巧!

秋招已经开始,许多同学都在为简历和面试发愁。我跟BAT某lab高级算法研究员、担任过多次技术面试官的Sunny师兄聊了聊,跟他请教了简历撰写和面试准备的方法。重磅福利在文末↓Sunny 目前在BAT某lab担任高级算法研究员,有多年的简历筛选和面试经…

LintCode 386. 最多有k个不同字符的最长子字符串(双指针)

1. 题目 给定字符串S,找到最多有k个不同字符的最长子串T。 样例 1: 输入: S "eceba" 并且 k 3 输出: 4 解释: T "eceb"样例 2: 输入: S "WORLD" 并且 k 4 输出: 4 解释: T "WORL" 或 "ORLD"挑战 O(n) 时…

院士发声:科研人也要养家,非升即走只能做短平快的研究

源 | 募格课堂综合自上游新闻、澎湃新闻、百度百科如今,59岁的中国科学院院士马大为,他也感慨科技界的“内卷”,“很多大学和研究单位没有按照科研的规律招PI(Principal Investigator,学术带头人、首席研究员&#xff…