外围网站怎么做,防止网站扫描,早期经典网页游戏,网站开发用到什么技术自己在看面经中遇到的一些面试题#xff0c;结合自己和理解进行了一下整理。 transformer中求和与归一化中“求和”是什么意思#xff1f; 求和的意思就是残差层求和#xff0c;原本的等式为y H(x)转化为y x H(x)#xff0c;这样做的目的是防止网络层数的加深而造成的梯… 自己在看面经中遇到的一些面试题结合自己和理解进行了一下整理。 transformer中求和与归一化中“求和”是什么意思 求和的意思就是残差层求和原本的等式为y H(x)转化为y x H(x)这样做的目的是防止网络层数的加深而造成的梯度消失无法对前面网络的权重进行有效调整导致神经网络模型退化这种退化不是由过拟合造成的而是较深模型后面添加的不是恒等映射反而是一些非线性层。已经学习到较饱和的准确率或者当发现下层的误差变大时那么接下来的学习目标就转变为恒等映射的学习也就是使输入x近似于输出H(x)以保持在后面的层次中不会造成精度下降。 注意力机制中计算注意力分数时为什么会除以根号dk 这和softmax的求导有关softmax的计算公式exp(x1)/exp(x1)exp(x2)另pexp(x1)/exp(x1)exp(x2)那么softmax求导之后p*(1-p)当p趋近于1时softmax的导数就趋近于0。故除以根号dk的原因是为了避免softmax计算的结果过大造成偏导数为0。 多头注意力比单头注意力的好处 注意力的计算是并行进行的多头可以提高计算效率。并且多头可以捕获不同子空间内的特征。 transformer比起RNN的优势 RNN在传播的过程中会出现信息衰减而transformer当前词不管距离其他词多远其只有这个词与其他词的相关性有关。并且transformer的encode可以并行计算RNN不可以。 transformer为什么使用层归一化 当前值减均值/ 标准差。减小梯度消失和梯度爆炸的问题并提高网络的泛化性能。* 批量归一化是不同训练数据之间对单个神经元的归一化层归一化是单个训练数据对某一层所有神经元之间的归一化。 transformer中解码器的注意力与编码器的区别 decode中的自注意力是带掩码的不让decode看到后文。还有一个encode-decode注意力层这一层注意力层只有q来源于上一层decode单元的输出剩下的k、v都来源于encode最后一层的输出。 前馈层 两层relu激活函数一层全连接神经网络。 BERT的训练任务 1.在输入数据中选择15%用于预测这15%的数据中有80%被替换为mask10%的单词被替换为其他词10%的单词保持不变。2.上下段落匹配其中50%使用正确的上下句关系50%随机抽取一个句子拼在后面。 BERT的优缺点 1.预训练阶段会出现特殊的[MASK]字符而在下游任务中不会出现造成预训练和微调之间的不匹配。 2.每个batch只有15%的token会被预测所有收敛速度会比传统语言模型慢。 3.缺乏生成能力。 chatgpt的训练过程 1.SFT阶段有阶段微调使用问答对微调GPT3。这一阶段的损失是交叉熵。 2.RM奖励模型使用1的SFT模型收集每个问题的4-9个回答并对其进行人为排序。这一阶段使用的损失是排序损失函数排序高的回答的奖励值-排序低的回答的奖励值我们希望这个值越大越好。 3.PPO算法更新策略 LLAMA作出的改进 1.归一化又LN改为了RMS Norm。 2.SwiGLU替代ReLU。 3.旋转位置编码替代位置编码。 ChatGLM作出的改进 1.重新排列了层归一化和残差连接的顺序 2.用GeLU替。换ReLU激活函数 3.在结构和训练目标上兼容这三种预训练模型需要GLM中同时存在单向注意力和双向注意力当attention_mask为全1时为双向的attention当attention_mask为三角矩阵时为单向的attention。 4.使用P-tuning进行的微调。 ChatGLM的训练任务 1.文档级别的预测/生成从文档中随机采样一个文本片段进行掩码片段的长度为文档长度的50%-100%。 2.句子级别的预测/生成从文档中随机掩码若干文本片段每个文本片段必须为完整的句子被掩码的词数量为整个文档长度的15%。 既保证了模型的自编码能力又有自回归能力。 Baichuan作出的改进 1.RoPE位置编码 2.RMSNorm归一化 3.SwiGLU激活函数 4.1.2万亿训练数据/上下文窗口4096 参数微调的方法 1.Adapter Tuning将其嵌入Transformer的结构里面在训练时固定住原来预训练模型的参数不变只对新增的Adapter结构进行微调。 2.Prefix Tuning构造隐式的输入token加入到输入前缀我的理解是将prompt变成可以调整参数的格式 3.P-tuning同样加了可微的virtual token但是仅限于输入没有在每层加。且virtual token的位置也不一定是前缀插入的位置是可选的这里的出发点实际是把传统人工设计模版中的真实token替换成可微的virtual token。 4.P-tuning V2在输入前面的每层加入可微调的参数。 5.LoRA冻结了预训练的模型权重在需要训练的矩阵开通一个旁路矩阵分为一个降秩矩阵和一个升秩矩阵比如一个100×100的矩阵可以替换为一个100×2和一个2×100两个矩阵参数量减少了10000-400将最后的结果加到原始矩阵上。 6.QLoRA引入了4位量化、双量化和利用nVidia统一内存进行分页。所有这些步骤都大大减少了微调所需的内存同时性能几乎与标准微调相当。 模型量化 比如8位量化需要最大值为127那么选取模型中参数最大的值/127为缩放比例a将所有的数都除以这个缩放比例a。 Actor-Critic架构 Actor演员使用SFT模型初始化使用问答对来更新其策略Critic评论家使用RM模型初始化用来拟合旧价值估计Reward Model用来产生当前状态和策略下获得的奖励值奖励值减掉SFT旧策略与新策略之间的KL散度作为reward优势函数等于reward减掉旧状态价值估计。当优势函数大于0时就要鼓励当前的动作当优势函数小于0时就要抑制当前动作。 优化器 SGD随机梯度下降它使用数据集中的单个样本或一批样本的梯度来更新模型参数。计算过程为原始参数原始参数-学习率×梯度。 Adam自适应学习率的梯度下降Adam算法将不同的梯度给予不同的权重使得神经网络在学习率稳定时能快速、稳定的收敛到最佳点。