做电商网站前期做什么工作,网站设计 手写,wordpress官方手机客户端,深圳电力建设公司文章目录 技术交流群1、360 NLP 算法岗2、腾讯 NLP 算法岗3、百度 NLP 算法岗用通俗易懂方式讲解系列 节前#xff0c;我们组织了一场算法岗技术面试讨论会#xff0c;邀请了一些互联网大厂同学、参加社招和校招面试的同学#xff0c;针对大模型技术趋势、大模型落地项… 文章目录 技术交流群1、360 NLP 算法岗2、腾讯 NLP 算法岗3、百度 NLP 算法岗用通俗易懂方式讲解系列 节前我们组织了一场算法岗技术面试讨论会邀请了一些互联网大厂同学、参加社招和校招面试的同学针对大模型技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何备战、面试常考点分享等热门话题进行了深入的讨论。 今天我整理 NLP 算法方向的面试题分享给大家希望对后续找工作的有所帮助。喜欢记得点赞、收藏、关注。更多技术交流面经学习可以加入我们。 技术交流群 前沿技术资讯、算法交流、求职内推、算法竞赛、面试交流(校招、社招、实习)等、与 10000来自港科大、北大、清华、中科院、CMU、腾讯、百度等名校名企开发者互动交流~ 我们建了算法岗技术与面试交流群 想要进交流群、需要源码资料、提升技术的同学可以直接加微信号mlc2060。加的时候备注一下研究方向 学校/公司CSDN即可。然后就可以拉你进群了。 方式①、微信搜索公众号机器学习社区后台回复加群 方式②、添加微信号mlc2060备注技术交流 1、360 NLP 算法岗 作者介绍 中文系转NLP985应用语言学研三微软STCA的swe暑期实习在研究生阶段做过导师给的toB的NLP横向项目命名实体识别leetcode刷了600题。面试360的时间是11月初距离笔试也过了一个多月简历被业务反复筛选最后还是约面了。这轮面试是过了进入排序阶段。 问项目 我复述在研究生阶段做的导师的横向项目的过程面试官讲到像我做的冷启动文本分类项目有标注的数据很少和他们的场景比较像。介绍了一遍他们的项目主要是做toB和toG的文本分类。 Q如果任务是识别包含某种医疗手段的违法广告怎么实现 A可以用意图识别的方法算目标语句的词向量和某个意图向量的相似度超过某一阈值就算。 Q自己实现深度学习项目的时候用了几张卡大约用时多久 A用的数据并行4w条数据用了几个小时。顺便主动讲了一下数据并行的原理和模型并行的区别。 Q有没有部署过推理服务 A不知道。 Q面试官部署模型之后请求量很大要把它做成服务。有tf-serving、torch-serve如果训练模型时候发现显存只占用10%该如何调整 A调大batchsize、增加文本长度、提升小数精度 Q面试官说还有加深网络层数 Q反过来如果爆显存了该如何调整 A半精度、调小batchsize、减少网络层数、dropout (忘记说梯度累加了) Q模型量化有了解吗 A不了解。但是实践中改小过模型精度。 听写 Linux 基础命令 Qls, pwd是什么指令 Q怎么看一个文件有多少行不会 wc-l Q深度学习过程中要看显卡显存占用率 nvidia-smi Q要把python挂到后台执行 nohup python test.py Q批量替换文件名中的某个单词不会 sed Q查询之前用过的命令不会 history | grep 问 NLP 基础知识 QWord2vec, FastText, BERT 三种模型的embedding是怎么产生的它们的相同和不同点 A相同点都基于分布式语义一个词的含义由上下文决定。 不同点前两者是静态词向量一个词对应一个embedding。BERT因为有self-attention机制得到的是语境词向量上下文不同目标词位置的向量也不同。 QWord2vec, FastText, BERT在词表上有什么不同怎么处理不在词表中的词OOV AWord2vec没法处理OOV。Fasttext和BERT都是能给OOV一个embedding的方法是subword也就是拆分了子词。但是BERT的词表是word-piece用类似于BPE的方法通过多轮迭代无监督获得的而Fasttext就是用n-gram切的。 QWord2Vec是如何实现在几万个向量中查询与query词向量最接近的向量的 A我一开始说gensim的w2v是有现成的api的most_similar()但是内部实现方法不确定肯定不是暴力法。可能是先排序再类似于搜索树面试官说可以往聚类的方面想。我就想到可以用聚类的逆操作。先随机生成k个点作为聚类中心把几万个词向量分成k个类别再用目标词向量和k个类别做相似度找到最接近的类别。再对这个类别再分成k类再分布做相似度计算直到不能再分。面试官说差不多是这样faiss、hnsw就是用来做这种事的。 做题翻转链表和全排列 总结 面试官全程比较温柔会给很多提示。最后说现在hc比较少但是前面的人可能会鸽。让我先进流程。 祝大家都能拿到满意的offer祝非毕业年级同学们学有所成~ 2、腾讯 NLP 算法岗 建议尽早准备呦 提前批投递时可以自主选择部门有些部门的hc几乎全都留给实习生转正建议无法实习的童鞋们提前做好调研避开这些部门。 部门选错了就直接凉了哦手动微笑脸 体验总结 a. 面试内容很全面会涉及相关领域的前沿工作并且会问的相当深入 b. 项目问的非常细节我们的项目面试官基本都有了解不会出现面试官不懂项目的情况 c. 不会问特别难的算法(比如线段树公共祖先)感觉腾讯更注重基础 一面 自我介绍项目 序列标注常见算法有什么 之前常见的序列标注问题的解决方案都是借助于HMM模型,最大熵模型,CRF模型 CRF HMM 区别 HMM是有向图CRF是无向图 HMM是生成式模型要加入对状态概率分布的先验知识 CRF是判别式模型完全数据驱动 CRF解决了标注偏置问题去除了HMM两个不合理的假设等等。 多分类序列标注怎么做 如何构建想要的词表 指针与引用的区别 TransformerXL是什么为了什么而提出 XL是“extra-long”的意思即Transformer-XL做了长度延伸的工作 Transformer规定输入大小为512原始的输入需要进行裁剪或填充即将一个长的文本序列截断为几百个字符的固定长度片段然后分别处理每个片段。 这存在着文章跨片段依赖不能学习到的问题也限制了长距离依赖。为了解决这一问题Transformer-XL被提出。 那么Transformer XL进行了什么改进呢 使用分段RNN(segment-level recurrence mechanism)且存储上一次处理的片段信息使用了相对位置编码方案(relative positional encoding scheme) BERT ELMO XLNET 区别 模型结构 自回归和自编码语言模型在生成方面的问题 XLNet维持了表面看上去的自回归语言模型的从左向右的模式这个Bert做不到。这个有明显的好处就是对于生成类的任务能够在维持表面从左向右的生成过程前提下模型里隐含了上下文的信息。 一道编程题全排列一般难度 二面 自我介绍项目 项目 项目现在再看可以怎么改进 项目的学习率怎么调的 发没发论文毕业前是否有发论文的打算 根据项目引申了很多 三面 自我介绍项目 BERT warm-up BERT都有什么改进 ERNIE 怎么做的 把bert的单字mask改为词mask直接对语义知识进行建模增强了模型语义表示能力。 引入多源数据语料进行训练 引入了论坛对话类数据利用 DLMDialogue Language Model建模 Query-Response 对话结构将对话 Pair 对作为输入引入 Dialogue Embedding 标识对话的角色利用 Dialogue Response Loss 学习对话的隐式关系进一步提升模型的语义表示能力 通过在自然语言推断、语义相似度、命名实体识别、情感分析、问答匹配 5 个公开的中文数据集合上进行效果验证ERNIE 模型相较 BERT 取得了更好的效果。 继1.0后ERNIE英文任务方面取得全新突破在共计16个中英文任务上超越了BERT和XLNet, 取得了SOTA效果。 ERNIE 2.0相对于1.0有什么改进 百度提出可持续学习语义理解框架 ERNIE 2.0。该框架支持增量引入词汇 lexical 、语法 syntactic 、语义 semantic 等3个层次的自定义预训练任务能够全面捕捉训练语料中的词法、语法、语义等潜在信息。 算法题 n分解成最少多少个平方数的和 n个串的最大公共前缀 树后序遍历非递归要求空间时间复杂度并不断改进 提前批已经开始啦三面技术面没有HR面 其中三面是经理面技术人际各个方向都会涉及 体验总结 a. 面试形式为电话面试面试官小哥哥的声音也太好听了 b. 考察内容非常之全面很注重基础对于所有考察的内容更注重理解。 c. 回答问题的思路以及速度都是考察项。 3、百度 NLP 算法岗 一面 自我介绍项目 项目细节 batchsize大或小有什么问题 LR怎么设置 机器学习基础 L1L2正则化 优化器 激活函数 python基础 yeild是什么 与return的区别 线程进程 装饰器 python内部实现的多线程有什么问题 假的多线程 Linux基础 AWK nohup 用过最复杂的linux命令是什么 NLP基础 word2vec 两种训练方式哪种更好 对生僻词谁更好 CBOW模型中input是context周围词而output是中心词训练过程中其实是在从output的loss学习周围词的信息也就是embedding但是在中间层是average的一共预测V(vocab size)次就够了。 skipgram是用中心词预测周围词预测的时候是一对word pair等于对每一个中心词都有K个词作为output对于一个词的预测有K次所以能够更有效的从context中学习信息但是总共预测K*V词。 skipgram胜出✌️ 编程题 最长公共子序列 老生常谈不再赘述 二面 自我介绍项目 CRF作用 标注的时候样本不均衡怎么办 数据增强 损失函数有个weight参数也可以一定程度解决这个问题 如果正例少损失函数的w就提高会提高F1 Transformer self-attention 有什么作用捕获依赖关系 梯度消失爆炸CEC机制 螺旋爆炸编程题快问快答环节 问了很多编程题要求列出公式以及完整思路最后选一个写出代码 时间太久了 _ 小媛只记住了这几个 最大上升子序列dp[i] dp[j]1 (j i nums[j] nums[i]) 旋转数组找K值 只有01生成器如何生成 0-3等概率如何生成 0-k等概率模拟二进制 各种python基础 python2python3map的差别 装饰器 线程安全/读写锁/智能指针 大文件字典比如{abc:‘aabc’,‘cba’,‘ccab’} mapreduce Hadoop 流式抽样 对数据流的随机抽样 蓄水池抽样算法Reservoir Sampling 1/n的概率留下当前的手中的k个每个的概率是1/n-1 跳台阶有一次后退机会dp[i][0/1] 三面 项目各种发散的不同的业务场景问题 人际需求问题 上线遇到用户反馈错误怎么解决 迅速学习编程语言的能力 能否接受算法之外的其他工作比如开发 百度内部是否还投了别的部门因为提前批可以自主投递多个部门 面试官说后续等消息可能要很久 已经训好的模型放到新的数据上怎么提高性能模型不允许fintuing 增量训练 在线学习方法 用通俗易懂方式讲解系列 用通俗易懂的方式讲解自然语言处理初学者指南附1000页的PPT讲解用通俗易懂的方式讲解1.6万字全面掌握 BERT用通俗易懂的方式讲解NLP 这样学习才是正确路线用通俗易懂的方式讲解28张图全解深度学习知识用通俗易懂的方式讲解不用再找了这就是 NLP 方向最全面试题库用通俗易懂的方式讲解实体关系抽取入门教程用通俗易懂的方式讲解灵魂 20 问帮你彻底搞定Transformer用通俗易懂的方式讲解图解 Transformer 架构用通俗易懂的方式讲解大模型算法面经指南附答案用通俗易懂的方式讲解十分钟部署清华 ChatGLM-6B实测效果超预期用通俗易懂的方式讲解内容讲解代码案例轻松掌握大模型应用框架 LangChain用通俗易懂的方式讲解如何用大语言模型构建一个知识问答系统用通俗易懂的方式讲解最全的大模型 RAG 技术概览用通俗易懂的方式讲解利用 LangChain 和 Neo4j 向量索引构建一个RAG应用程序用通俗易懂的方式讲解使用 Neo4j 和 LangChain 集成非结构化知识图增强 QA用通俗易懂的方式讲解面了 5 家知名企业的NLP算法岗(大模型方向)被考倒了。。。。。用通俗易懂的方式讲解NLP 算法实习岗对我后续找工作太重要了。用通俗易懂的方式讲解理想汽车大模型算法工程师面试被问的瑟瑟发抖。。。。用通俗易懂的方式讲解基于 Langchain-Chatchat我搭建了一个本地知识库问答系统用通俗易懂的方式讲解面试字节大模型算法岗(实习)用通俗易懂的方式讲解大模型算法岗(含实习)最走心的总结用通俗易懂的方式讲解大模型微调方法汇总