南宁市建设信息网站,无锡哪个网站建设比较好,做甜品的网站,wordpress浏览人数在哪里改背景介绍 在过去的数月中#xff0c;亚马逊云科技已经推出了多篇博文#xff0c;来介绍如何在亚马逊云科技上部署 Stable Diffusion#xff0c;或是如何结合 Amazon SageMaker 与 Stable Diffusion 进行模型训练和推理任务。 为了帮助客户快速、安全地在亚马逊云科技上构建、… 背景介绍 在过去的数月中亚马逊云科技已经推出了多篇博文来介绍如何在亚马逊云科技上部署 Stable Diffusion或是如何结合 Amazon SageMaker 与 Stable Diffusion 进行模型训练和推理任务。 为了帮助客户快速、安全地在亚马逊云科技上构建、部署和管理应用程序众多合作伙伴与亚马逊云科技紧密合作。他们提供各种各样的服务、深入的技术知识、最佳实践和解决方案包括基础设施迁移、应用程序现代化、安全和合规性、数据分析、机器学习、人工智能、云托管、DevOps、咨询和培训。 最近亚马逊云科技核心级服务合作伙伴 eCloudrover伊克罗德 推出了基于 Stable Diffusion 的 AI 绘画解决方案—— imAgine既拥有经过广泛验证且易于部署的先进 AI 算法模型又提供丰富且高性价比的云端资源以优化成本旨在帮助游戏、电商、媒体、影视、广告、传媒等行业快速构建 AIGC 应用通路打造 AI 时代的领先生产力。 本文主要分享我们在帮助客户使用 Stable Diffusion 时总结的实战经验以及使用基于 Stable Diffusion 研发的 imAgine 产品生成艺术二维码的最佳实践。 我们将以 QRCode 作为 ControlNet 的输入使 QRCode 数据点融入到艺术图像中同时仍然可以被 QRCode 阅读器扫描。借助这项技术您可以将任何二维码转化为独特的艺术作品以一种全新的方式来表达和传递信息。以下为几张图片案例 Stable Diffusion 实战技巧 古语有云“万事开头难”“致广大而尽精微”。这对应了在 Stable Diffusion 实战中客户最常遇到的两方面问题一是如何选择合适的提示词起手式来生成满足期望的图片二是如何对图片进行细节优化使最终产出的结果能够满足生产应用需求。 我们根据过往服务客户使用 Stable Diffusion 的经验整理了以下内容作为我们推荐的最佳实践希望对读者使用 Stable Diffusion 进行创作时提供参考。 提示词工程 随着 Stable Diffusion 版本不断迭代AI 对语义的理解越来越接近“常识”之后对提示词Prompts的要求也会越来越高。很多提示词上的误区有时会对绘图产生反作用。 Prompt 的基本概念 提示词分为正向提示词positive prompt和反向提示词negative prompt用来告诉 AI 哪些需要哪些不需要。 Prompt 的误区 Prompt 在于精确不在于数量用最简短的单词阐述画面比自然语言要更有效。提升质量的描绘词绝不是无脑堆砌、越多越好。经常出现的起手式“masterpiece” “best quality” 等很多时候会成为提示词中的累赘。这些词语在 NovelAI 时代是有意义的因为当时 NovelAI 训练模型时大量使用了这些词汇来对图像进行评价但在如今经过 Civitai 上模型作者们不断重新炼制模型这些提示词已经很难在生图结果中展现应有的作用。 调整提示词的权重 词缀的权重默认值都是 1从左到右依次减弱提示词权重会显著影响画面生成结果通过小括号冒号数字来指定提示词权重写法如 (one girl:1.5) 注意提示词的顺序 比如景色 Tag 在前人物就会小相反的人物会变大或半身选择正确的顺序、语法来使用提示词将更好、更快、更有效率地展现所想所愿的画面 Prompt 中的 Emoji Prompt 支持使用 emoji且表现力较好对于特定的人脸表情或动作可通过添加 emoji 图来达到效果为了防止语义偏移优先考虑 emoji然后少用不必要的 with 一类的复杂语法 视角 Prompt 推荐 图片优化 很多时候我们生成了一张差强人意的图片希望对这个结果进行进一步的优化但往往不知道从何下手。这时您或许可以参考以下图片参数调优的最佳实践 哪些参数需要调整 CFG Scale图像与提示词的相关度。该值越高提示词对最终生成结果的影响越大契合度越高。  CFG 2-6有创意但可能太扭曲没有遵循提示。对于简短的提示来说可以很有趣和有用。CFG 7-10推荐用于大多数提示。创造力和引导力度之间的良好平衡。CFG 10-15当您确定提示是详细且非常清晰的对图片内容有极明确的要求时使用。CFG 16-20除非提示非常详细否则通常不推荐。可能影响一致性和质量。CFG 20几乎无法使用。 Sampling Steps 迭代步数步骤越多每一步图像的调整也就越小、越精确。同时也会成比例地增加生成图像所需要的时间。  对于大部分采样器迭代越多次效果越好但超过 50 步后就收效甚微。 Sampling method 采样方法不同的采样方法对应的最佳迭代步数是不同的在进行对比时需要综合考虑。  Euler a富有创造力不同步数可以生产出不同的图片。并且这是一个效率较高的采样方法可以用来快速检查 prompt 效果的好坏。DPM2 a Karras适合跑真实模型30 步以后不好把控。DPM 2M Karras在高步数下表现优异步数越高细节越多。DDIM收敛快但效率相对较低因为需要很多 step 才能获得好的结果适合在重绘时候使用。不同模型与采样方法搭配出的结果也不同以上仅供参考在进行采样方法的选择时最好使用 X/Y/Z 图表进行对比。 Seed 随机种子随机种子值很多时候对构图的影响是巨大的这也是 SD 生图随机性的最主要来源。 保持种子不变同样的提示词和模型保持所有参数一致的情况下相同的种子可以多次生成几乎相同的图像。在确定好一个合适的画面构图时固定种子对细节进行进一步打磨是最合适的做法。 如何对比寻找最佳参数 利用 X/Y/Z 图找最佳参数通过使用 X/Y/Z 图我们可以很清晰地对比不同参数下的结果快速定位合适的参数范围进行进一步的生成控制。 图片尺寸优化 图片质量并不直接与图像尺寸挂钩。但尺寸在一定程度上影响了主题/图片内容因为它潜在代表选择的类别比如竖屏人物横屏风景小分辨率表情包等。当出图尺寸太宽时图中可能会出现多个主体。1024 之上的尺寸可能会出现不理想的结果并且对服务器显存压力是巨大的。推荐使用小尺寸分辨率  高清修复。 优化多人物 / 宽幅单人物的生成 单纯使用 txt2img 无法有效指定多人物情况下单个人物的特征。较为推荐的方案是制作草稿 img2img 或 ControlNet 的方式。宽幅画作单人物生成最好打草图进行色彩涂抹确定画面主体或使用 ControlNet 的 OpenPose 做好人物骨架。多人物确定人物数量最好使用 ControlNet 的 OpenPose 来指定该方案也适合画同一人物的三视图。 进行手部修复 将图片送入 img2img inpaint使用大致相同的提示词将关于“手”的提示放在前面根据希望手部特征变动多少来设置重绘幅度如果只是希望手更完整调至 0.25 以下然后保留步骤和 CFG 与 txt2img 相同。 找到一个满足期望的手部图片借助 ControlNet 的 Canny 或 OpenPose_hands 等预处理器模型结合 inpaint 操作能实现更精确的手部控制。 进行面部修复 在绘制人物主体较小的图片时经常会出现面部崩坏的情况。尤其是本文之后会介绍的生成艺术二维码流程人物的面部经常会因为二维码码点的存在而崩坏。对面部的重绘更推荐使用 !After Detailer 插件实现通称 ADetailer。该插件会使用 yolo 算法对图片中的物体进行识别我们设定其识别人物面部并提供面部重绘的提示词和模型该插件会在识别到的面部位置进行局部重绘完成面部修复。ADetailer 插件可以满足面部和手部的识别与修复。在 ADetailer 中也能引用 Lora 模型进行局部重绘生成。 借助 ControlNet 生成艺术二维码 Step1优化二维码 二维码是一种借助特定几何图形分配在二维空间上分布的、黑白相间的、记录数据符号信息的图形。二维码有多种不同的编码方式我们此处采用通用度最高也是最基础的编码方式QR Code。 输入的二维码是借助 SD 生成艺术二维码过程中最重要的部分之一。我们主要关心输入的二维码的以下两个特点 1. 二维码中包含的信息量 无论二维码采用何种编码方式承载的字符信息越多二维码在视觉上呈现的黑白结构就越复杂。复杂的结构很容易导致我们在生成艺术创意时极大地收到二维码本身信息的掣肘。因此我们首先要想办法精简二维码中包含的字符长度。 对于最广泛的应用场景二维码通常会包含一个网页链接为了提升二维码生成的美观性我们首先需要对网页链接进行缩短。市面上的链接缩短工具有很多您可以自由选择。但需要注意在中国大陆境内请选择有域名备案的缩链平台否则会被微信、浏览器等阻挡。 例如我们有一个希望制作成二维码的网址https://www.ecloudrover.com/aigc/ 通过缩链处理后为http://c.suo.nz/7KZrF。 通过下图可以比较直观地看出链接长短对于二维码视觉的影响缩短的链接将更有利于我们接下来的创作。 2. 二维码的呈现形式 随着技术发展二维码不仅只支持黑白方块状的图案样式定位点和码元都支持多样化的呈现例如以下几种样式 在实际操作中我们可以尝试多种不同的码点形式以使得生图效果符合我们的预期。 下图展示了不同的二维码形式对最终效果图的影响 生成参数 Prompt: mountain, green grassland, sky, cloud, bird, blue sky, no human, day, wide shot, flying, border, outdoors, white bird, scenery Negative prompt: easynegative Steps: 40, Sampler: DPM 2M Karras, CFG scale: 6, Seed: 3943213078, Size: 872x872, Model hash: 876b4c7ba5, Model: cetusMix_Whalefall2, Clip skip: 2, ControlNet: preprocessor: none, model: control_v1p_sd15_qrcode_monster [a6e58995], weight: 1.35-1.5, starting/ending: (0.05, 1), resize mode: Resize and Fill, pixel perfect: True, control mode: Balanced, preprocessor params: (512, 64, 64), Version: v1.3. 左滑查看更多 Step2制作基础二维码 了解了上述要点后我们将要开始使用二维码制作工具生成一个输入给 SD 的基础二维码。互联网上有多种网页二维码生成工具您可以自由选择。同时为了方便您使用我们在 Blog 专用的 AMI 中已经预装了 QRCode 生成插件只要您从正确的版本中启用 AMI都可以直接在 Webui 上看到下述的 QRCode Toolkit Anthony’s QR Toolkit整合在 Webui 的 QRCode 生成与优化工具https://github.com/antfu/sd-webui-qrcode-toolkit 接下来我们演示如何使用 Anthony’s QR Toolkit 来生成二维码您可以参考下图完成二维码参数的配置。 完成二维码制作后可以点击右侧的 “Download” 以下载到本地。或点击 “Send to ControlNet”直接将二维码发送至 ControlNet 以进行下一步操作。 Step3确定艺术风格 使用 Stable Diffusion 进行艺术创作的核心是选择合适的模型提示词。我们在创作艺术二维码之前建议先不使用 ControlNet先进行一次普通的图片生成以测试生图效果。 此处我希望二维码中有山川、蓝天、白云等自然景观因此先使用以下参数测试提示词和模型的生成效果。 生成参数 Prompt: mountain, green grassland, sky, cloud, bird, blue sky, no human, day, wide shot, flying, border, outdoors, white bird, scenery Negative prompt: easynegative Steps: 20, Sampler: Euler a, CFG scale: 7, Seed: 4078355702, Face restoration: CodeFormer, Size: 512x512, Model hash: 876b4c7ba5, Model: cetusMix_Whalefall2, Clip skip: 2, Version: v1.3.2 左滑查看更多 Step4在 ControlNet 中导入二维码 确认好图片风格后我们将未经处理的二维码上传 ControlNet。请注意以下几个选项的配置 “启用” 按钮勾选以确保 ControlNet 在图片生成过程中生效模型选框请选择 “control_v1p_sd15_qrcode_monster” 来加强二维码的控制力度控制权重对于 qrcode_monster 模型我们建议设置在 1.1-1.6 之间引导介入/终止时机介入时机建议在 0-0.1 之间终止时机建议为 1。 在文生图配置中建议调整两组数值 迭代步数建议在 30-50 之间默认值 20 不足以引导生成一个高质量的二维码图片宽度/高度建议直接从 ControlNet 发送二维码原图的宽高比至上方 参数全部配置完成后点击生成即可可以看到此处我们生成了一个效果不错的图片使用手机扫码测试也完全通过。 如果生成的二维码不能够达到期望可以选择微调以下几个参数并增加生成的总批次数不断尝试抽卡以逼近最终期望的效果 提示词采样方法ControlNet 控制权重ControlNet 引导介入/终止时机 必要时可以选择使用 “脚本” 中的 X/Y/Z Plot来对比不同参数下生成二维码的效果。我们此处对比了 ControlNet 的控制权重和引导介入时机 附录 附录1ControlNet QRCode 模型的选择 为方便您使用我们在 Blog 专用的 AMI 中已经完成了 ControlNet QRCode 模型的植入只要您从正确的版本中启用 AMI都可以直接在 ControlNet 中选择模型。 截至目前QRCode Monster是我们测试后认为控制二维码成功率最高也是二维码融入图像效果最好的模型该模型可以在 HuggingFace 下载到 https://huggingface.co/monster-labs/control_v1p_sd15_qrcode_monster 市面上也有另一个二维码模型QR Pattern v2.0。该模型我们建议结合使用IoC Lab的 Brightness 模型作为辅助模型来提高局部对比度也会产出不错的效果。但根据我们的测试该模型自带的干扰内容较多可能会导致图像风格发生很大的变化。这两个模型可以在下方链接下载 https://civitai.com/models/90940/controlnet-qr-pattern-qr-codes https://huggingface.co/ioclab/ioc-controlnet 附录2如何使用 Stable Diffusion AI 绘图解决方案 imAgine 是一款由亚马逊云科技核心级服务合作伙伴伊克罗德基于 Automatic1111 Stable Diffusion Webui结合亚马逊云科技多种托管服务定制开发的AI绘图解决方案。imAgine 目前已经上线亚马逊云科技MarketPlace用户能够在 Marketplace 中一键订阅快速启动无需进行复杂的环境配置敏捷地在云上部署 AI 绘画环境。 同时还结合亚马逊云科技无服务器服务 Amazon API Gateway、Amazon DynamoDB 等将 WebUI 前端的训练、推理请求无缝转发到 Amazon SageMaker 后端的专用推理、训练服务器上实现算力的无缝扩展并基于此架构基础实现前后端分离、精确的成本管控。 对于任何希望快速上手 AIGC 技术并且希望得到全生命周期维护与技术支持的客户订阅并测试解决方案限于篇幅订阅 imAgine 解决方案的详细操作流程请参考 WorkShop 页面https://catalog.us-east-1.prod.workshops.aws/workshops/facdf921-2eea-4638-bc01-522e1eef3dc5 参考链接 Stable Diffusion AI 方案 MarketPlace 订阅链接https://aws.amazon.com/marketplace/pp/prodview-ohjyijddo2gka?sr0-1ref_beagleapplicationIdAWSMPContessa Stable Diffusion AI 方案 Workshophttps://catalog.us-east-1.prod.workshops.aws/workshops/facdf921-2eea-4638-bc01-522e1eef3dc5Stable Diffusion AI 方案解决方案官网https://www.ecloudrover.com/aigc/QR Toolkit 插件作者 Anthony Fu 的 QRCode 共创文档https://antfu.me/posts/ai-qrcode-101IoC Lab 模型展示https://mp.weixin.qq.com/s/i4WR5ULH1ZZYl8Watf3EPwIoC Lab Stable Diffusion 文档https://aigc.ioclab.com/ 本篇作者 诸葛瑞麟 南京伊克罗德信息科技有限公司解决方案架构师经理专注于亚马逊云原生的架构设计与解决方案实践。擅长云上数据湖仓、数据分析与机器学习的规划与实施。目前主要负责伊克罗德自有解决方案研发与云上 ISV 合作伙伴能力集成。 苏喆 亚马逊云科技解决方案架构师负责亚马逊云科技的云计算方案架构咨询和设计致力于亚马逊云科技服务在电商、教育以及开发者群体中的推广。曾就职于 IBM担任 IT 解决方案架构师负责云原生与容器架构的设计及开发。 于涛 亚马逊云科技解决方案架构师负责亚马逊云科技云计算方案咨询和设计。目前主要专注在现代化应用改造和机器学习领域的技术研究和实践。加入亚马逊云科技之前曾服务于大型运营商及 IT 解决方案供应商积累了丰富的跨境电商/快消行业项目经验。 苏礼军 亚马逊云科技资深解决方案架构师致力于亚马逊云科技云技术的推广应用以及生态发展拥有多年的 IT Planning 咨询规划、架构师设计、落地交付经验在制造业、零售快消、教育、医疗、金融等行业都有众多的数字化转型案例积累。 姜萌 亚马逊云科技合作伙伴解决方案架构师负责亚马逊云科技合作伙伴解决方案咨询和设计专注于合作伙伴云科技核心能力体系开发。曾就职于 IBM 担任技术顾问并积累了数字孪生/流程自动化领域解决方案经验。 星标不迷路开发更极速 关注后记得星标「亚马逊云开发者」 听说点完下面4个按钮 就不会碰到bug了