c网站开发源代码,设计非常漂亮的网站,建筑网校排名前十的品牌,天津软件定制开发#x1f60e; 作者介绍#xff1a;我是程序员洲洲#xff0c;一个热爱写作的非著名程序员。CSDN全栈优质领域创作者、华为云博客社区云享专家、阿里云博客社区专家博主、前后端开发、人工智能研究生。公众号#xff1a;洲与AI。 #x1f388; 本文专栏#xff1a;本文收录… 作者介绍我是程序员洲洲一个热爱写作的非著名程序员。CSDN全栈优质领域创作者、华为云博客社区云享专家、阿里云博客社区专家博主、前后端开发、人工智能研究生。公众号洲与AI。 本文专栏本文收录于洲洲的《送书福利》系列专栏该专栏福利多多只需 关注点赞收藏 三连即可参与送书活动欢迎大家关注本专栏~专栏一键跳转 同时欢迎大家关注其他专栏我将分享Web前后端开发、人工智能、机器学习、深度学习从0到1系列文章。 同时洲洲已经建立了程序员技术交流群如果您感兴趣可以私信我加入我的社群~社群中将不定时分享各类福利 随时欢迎您跟我沟通一起交流一起成长、进步点此即可获得联系方式~ 本文目录 一、《扩散模型从原理到实战》与《GPT 图解大模型是怎样构建的》二、OpenAI的新王炸说话就能生成视频三、原来这就是扩散模型四、扩散模型能做成的事儿4.1 计算机视觉4.2 时序数据预测4.3 自然语言处理4.4 AI基础科学 五、再显神威的Transformer六、学习两本书掌握Sora核心技术6.1《扩散模型从原理到实战》6.2 《GPT 图解大模型是怎样构建的》 七、抽奖方式 一、《扩散模型从原理到实战》与《GPT 图解大模型是怎样构建的》 各位读者朋友今天给大家推荐两本好书《扩散模型从原理到实战》购书跳转链接~ 和 GPT图解 大模型是怎样构建的 购书跳转链接~ 二、OpenAI的新王炸说话就能生成视频 2024 年 2 月 16 日凌晨OpenAI 又发布王炸级产品——Sora这是一款可以根据文本提示词直接生成视频的工具。其效果之炸裂观者无不叹为观止。 只要使用自然语言描述情节、场景和要求Sora 就能生成一分钟的视频内容。 大佬周鸿袆直言“Sora 意味着 AGI 实现将从 10 年缩短到 1 年”。他为什么会这么说 首先Sora 展现出了模拟真实物理世界的能力。从物体运动的轨迹到光影的变换Sora 能够确定环境中每个对象的物理特性并根据它们计算渲染视频。以至于 Nvidia 高级研究员 Jim Fan 认为 Sora 更像是一个“数据驱动的物理引擎”。 其次Sora 可以生成长达一分钟的视频并且保持情节的连贯以及画面的清晰度。对比同类型工具 Runway 或者 Pika 最多十几秒的生成能力Sora 的实力是碾压式的。 另外Sora 还具备超强的视频处理能力支持向前或向后扩展视频可以将多个视频平滑连接到一起。 Sora 为啥这么厉害因为它是一个扩散模型Diffusion Model是在大量不同时长、分辨率和宽高比的视频及图像上训练而成的。《扩散模型从原理到实战》一书对扩散模型的原理与应用有详尽的说明。 同时Sora还采用了 Transformer 架构也就是一种“扩散型 Transformer”。它通过预测干净补丁的方式生成视觉内容再利用 Transformer 模型处理时空补丁。《GPT 图解大模型是怎样构建的》一书提供了实现 Transformer 的完整代码示例读者可以轻松理解 Transformer架构。 三、原来这就是扩散模型 《扩散模型从原理到实战》中解释说扩散模型是一类基于扩散思想的深度学习生成模型。而扩散思想则来自物理学中的非平衡热力学分支一个典型研究案例就是一滴墨水在水中的扩散过程。 非平衡热力学理论可以描述这滴墨水随时间推移的扩散过程中每一个“时间步”状态的概率分布。如果可以把这个过程反过来就可以从简单的分布中逐步推断出复杂的分布。 公认的最早扩散模型 DDPMDenoising Diffusion Probabilistic Model的扩散原理就是由此而来。DDPM 的扩散过程分为前向过程和反向过程两部分。 前向过程是给数据添加噪声的过程反向过程是“去噪”的过程即从随机噪声中迭代恢复出清晰数据的过程。 在图像生成领域DDPM 奠定了扩散模型的应用基础随后涌现的众多扩散模型都是在此基础上进行了不同种类的改进。但在扩散模型发展早期它生成图像的质量和稳定性还不如 GANGenerative Adversarial Network生成对抗网络。 在 2021 年 5 月OpenAI 出手发表了论文“Diffusion Models Beat GANs on Image Synthesis”该论文介绍了在扩散过程中如何使用显式分类器引导一举打败图像生成领域统治多年的 GAN使得扩散模型成为新的霸主。当前一众热门的图像生成工具诸如 Midjourney、DreamStudio、Adobe Firefly 等都是基于扩散模型的。 可见OpenAI 能有今日成就绝非一时侥幸在 AIGC 大模型的发展之路上OpenAI 的研究都走在了业界的最前沿。从文本问答 GPT 系列产品到文生图 DALL-E 3再到文生视频 Sora 的成功这就是技术引导下水到渠成的结果。 需要指出的是扩散只是一种思想扩散模型也并非固定的深度网络结构。如果将扩散的思想融入其他领域扩散模型同样能有出人意料的表现。 在宽广的 AI 赛道上大家可以借鉴扩散思想找到更多好机会。我们来继续了解扩散模型还能做成哪些事儿。 Part.3 四、扩散模型能做成的事儿 在 AI 的多个应用领域扩散模型都有用武之地包括计算机视觉、时序数据预测、自然语言处理、AI基础科学等。我们对这些应用一一介绍读者也可以结合自己的专业领域探索扩散模型的用途。 4.1 计算机视觉 扩散模型可以在图像处理任务中发挥重要作用有如下三种场景。 · 图像分割与目标检测。 · 图像超分辨率。 · 图像修复、图像翻译和图像编辑。 4.2 时序数据预测 时序数据预测是根据历史观测数据预测未来可能出现的数据。而基于扩散思想就可以将时序数据预测视为生成任务基于历史数据的基本条件生成未来数据。 时序数据预测可以在多种业务中应用包括气温预测、股票价格走势预测、销售与产能预测等。 4.3 自然语言处理 基于扩散思想只要将自然语言类的句子分词并转换为词向量后就可以通过扩散方法来学习自然语言的语句生成实现语言翻译、问答对话、搜索补全、情感分析、文章续写等功能。 目前这一领域的霸主还是 GPT 模型但扩散模型在自然语言处理领域的发展还是相当值得期待的。 4.4 AI基础科学 AI 基础科学也称 AI for Sicence是以人工智能技术分析处理多维度、多模态、多场景下的模拟和真实数据解决复杂推演计算问题加快基础科学和应用科学的发现、验证、应用打造下一代科学范式。 在基础科学中生成预测类的研究就是扩散模型的擅长领域。例如2021 年 DeepMind 研究的 AlphaFold 2 可以预测人类世界 98.5% 的蛋白质。 五、再显神威的Transformer 在 OpenAI 一战封神的 GPT 系列产品中Transformer 架构是助其成功的头号功臣。而 Sora 的成功再次让 Transformer 大显神威这说明 Transformer 并非只适用于文本大模型。 Transformer起源于 2017 年谷歌大脑团队发布了论文“Attention is All You Need”提出了这种结构。Transformer 的核心是自注意力机制它能够为输入序列中的每个元素分配不同的权重 从而更好地捕捉序列内部的依赖关系。 Transformer 还摒弃了 RNN 和 LSTM 中的循环结构采用全新的编码器-解码器结构这种设计使得模型可以并行处理输入数据进一步加速训练过程提高计算效率。 相对于 Runway 和 Pika 在扩散模型中使用的 U-Net来说Transformer架构的参数可拓展性强即参数量增加性能加速提升同时支持任意分辨率、长宽比、时长的视频训练数据不会因为压缩而导致训练数据质量下降。 OpenAI 利用 Transformer 的编码能力配合扩散模型对视频进行训练也就使得 Sora 生成视频的时长能够远超竞争对手。 Transformer 如此重要它的技术底层是如何实现的答案都在《GPT 图解大模型是怎样构建的》这本书中完整的代码示例让你一次性悟透 Transformer。 六、学习两本书掌握Sora核心技术 6.1《扩散模型从原理到实战》 本书内容基于 Jonathan Whitaker 和 Lewis Tunstall 在 Hugging Face 上开设的 Diffusion Model 课程本书是 Hugging Face 的第一本中文图书。 Hugging Face 是为机器学习从业者提供的协作和交流平台涵盖了机器学习各方面的知识。学习者可以在平台上开源自己的机器学习模型、数据集或者创建机器学习应用。 这本书由 Hugging Face 中国社区的本地化志愿者团队成员完成作者团队在 AI 领域有着丰富的理论与实践经验高质量地将在线课程转化为本书内容。 书中首先详细介绍了扩散模型的原理以及扩散模型退化、采样、DDIM 反转等重要概念与方法。然后对 Hugging Face 平台进行了简单介绍。接着说明从零开始搭建扩散模型的完整过程。通过 Diffusers 实战演示了生成美丽蝴蝶图像的方法。 此外还介绍了 Stable Diffusion、ControlNet 与音频扩散模型等内容。附录还提供由扩散模型生成的高质量图像集以及 Hugging Face 社区的相关资源。 本书的最大特点就是注重实战书中配备大量案例帮助读者快速熟悉扩散模型。同时作者们还精心设计编写了大量功能完整的代码清晰的代码结构与注释可以帮助读者快速实现扩散模型生成精美图像。 读者想学会扩散模型最好的办法就是在阅读本书的过程中搭建自己的开发环境编写并运行书中提供的源代码。 另外书中通过诸多图例手把手地教会读者使用 Diffusers 库训练扩散模型学会使用 Stable Diffusion 和 ControlNET 生成图像。读懂这本书读者能够做到从零开始搭建扩散模型并完成退化、训练、采样过程。 6.2 《GPT 图解大模型是怎样构建的》 《GPT 图解大模型是怎样构建的》从 NLP 技术的发展脉络梳理讲述了 N-Gram、词袋模型BoW、Word2VecW2V、神经概率语言模型NPLM、循环神经网络RNN、Seq2SeqS2S、注意力机制、Transformer从初代 GPT 到 ChatGPT 再到 GPT-4 等一系列突破性技术的诞生与演进。 本书最大的特点是通过两位虚拟人物“咖哥”和“小冰”的对话来展开技术讨论将枯燥的技术细节化作轻松幽默的故事和缤纷多彩的图画引领读者穿梭于不同时空见证自然语言处理技术的传承、演进与蜕变。 本书对于技术的讨论也绝非停留在理论上而是以大量代码来演示技术的底层细节。书中实现了一个完整的 Transformer 框架包含了 10 个关键组件。基于该 Transformer 框架还实现了一个简版 GPT帮助读者透彻理解大模型。 本书作者黄佳笔名就是“咖哥”他目前是新加坡科技研究局人工智能研究员主攻方向为 NLP 大模型的研发与应用。咖哥在 AI 领域深耕多年在政府、银行、医疗等多个行业有丰富的 AI 实践经验。 配套资源丰富是本书另一大特色咖哥精心编写每一章的示例代码并编排为 Python notebook 文件。读者可以在 notebook 的交互式环境中轻松运行调试代码观察输出结果。 毫无疑问Sora 是扩散模型极其成功的应用将来一定还会有更加出色的应用出现。对于想要在 AI 时代获得跨越发展的诸君来说现在学会《扩散模型从原理到实战》和《GPT 图解大模型是怎样构建的》就是站在未来的制高点上 七、抽奖方式 抽奖送书老规矩不点赞收藏中奖无效注意记得关注博主及时获取中奖通知。 1. 点赞收藏 文章 2. 评论区留言我要成为架构师留言才能进入奖池每人最多留言三条 3. 2024年3月10日 本周天晚八点随机抽奖3人 4. 京东自营购买链接https://item.jd.com/13958977.html 和 https://item.jd.com/13803847.html 5. 添加博主VX关注送书动态等福利:bdizztt