广州网站建设制作的公司,台州做网站app的公司,摄像头监控设备企业网站模板,dedecms资源下载模板Midjourney在沉寂九个月后推出了Midjourney V6#xff0c;这个文生图产品体现出的更细腻的细节处理#xff0c;更强大的语言理解能力和更加“不像AI”的图片效果在过去几天引发一片惊呼。 作为一个闭源的模型产品#xff0c;Midjourney的魔法配方并不为人所知#xff0c;但…Midjourney在沉寂九个月后推出了Midjourney V6这个文生图产品体现出的更细腻的细节处理更强大的语言理解能力和更加“不像AI”的图片效果在过去几天引发一片惊呼。 作为一个闭源的模型产品Midjourney的魔法配方并不为人所知但就像OpenAI和Google一样它会在产品更新时发布官方技术公告有心人还是可以从中一窥模型能力提升的技术原理。 而我们去扒了扒它透露的信息后发现这次更新的意义远不止于大家晒的那一张张精美的图片上……. Midjourney v6生成电影月光光心慌慌的假剧照图片源自reddit 图片模型的突破却靠的是语言模型能力 “Midjourney v6作为一个“文生图”模型此次改进的核心能力却来自其自然语言处理能力的提升。 这首先是对提示词理解的’跟随能力’的提升。在其官方文档中这被称为“prompt following”。简单来说这就是指系统对用户输入的提示词的理解和响应能力。通过增强这一能力Midjourney现在能够更好地解析复杂的提示无论是关键词、命令还是问题都能够准确把握。 Midjourney v6生成电影疤面煞星的假剧照图片源自reddit 第二个显著的更新是提示词的长度。用户现在可以输入更长的提示词。这一方面得益于上面提到的模型跟踪能力的增强另外则依靠模型连贯性的提升。 所谓连贯性用一个经典的故事就能解释。A问B“下午大扫除你来吗”B说“我去我不去”那么B的意思毫无疑问是不去因为上文中的大扫除非常累而B说的“我去”在这里则表示惊讶能够准确理解这个对话就叫连贯性。它确保了模型在处理用户哪怕很复杂的指令输入时也能够逻辑一致地响应。 Midjourney v6生成李奥纳多在网飞出演电视剧的海报图片源自reddit 这两个自然语言能力上的改进Midjourney具体是如何做的 在跟随能力方面的改进主要基于三个方面 上下文管理它通过分析上下文关系来更准确地理解用户意图序列建模利用循环神经网络RNN和长短时记忆网络LSTM来捕捉对话中的长期依赖以及交互状态跟踪它持续追踪用户的目标、意图和对话状态以确保系统响应的连贯性。 这些改进看起来就像是一个大语言模型的进化中在做的事情。 Midjourney v6生成圣诞夜惊魂版的小丑和哈莉奎茵图片源自reddit 但它毕竟是个文生图模型也就是语言能力和图片能力结合的模型这其实也给它在提升能力时带来了优势——与语言模型的对话产品形态总是涉及隐私与所属的问题不同Midjourney v6生成的图片目前来看全部是公共资源。 也就是说你花钱买了服务以后图片是公共的模型会生成两份你拿一份V6的服务器也就是V6 discoard也拿一份。那么Midjouney可以拿这些“实战”反过来加入到自己的预训练大模型中继续训练模型以提高性能。 Midjourney v6生成一只猫拿着手枪图片源自reddit 所以这还引出一个有意思的话题如果文生图因此而能够源源不断拥有更高质量的数据来反哺到预训练阶段而数据真的成为模型训练的决定性因素后是不是文生图模型有可能训练出比大语言模型更强的语言能力 在连贯性提升上其实就已经有一点这个味道。对于大语言模型来说想要提高连贯性并不简单涉及了多方面的因素。但是作为一个使用自然语言来生成图片的模型事实上简化了过程由于它不涉及与用户进行持续对话因此无需应用束搜索等启发式算法也无需处理自然语言生成中的后处理问题如语法校正和风格调整。这种简化使得Midjourney在提高连贯性方面只需专注于核心任务从而显著提升了其在理解和响应用户输入时的逻辑一致性。 Midjourney v6生成猎魔人杰洛特与超人的结合二者皆有同一演员亨利·卡维尔饰演图片源自reddit 懂视觉的模型能有更好的文字能力 图像模型却靠语言能力突破这其实已经不是第一次。此前同样引发一阵骚动的Dalle3也是如此。作为OpenAI的模型背靠ChatGPT语言能力自然更强。 在对比了两者后我发现V6在语言理解上其实还是较DALL·E有一定差距。最明显的地方就在于适应性上。适应性代表系统在能适应不同用户的语言风格和表达方式以及在面对新的或未见过的情况时保持响应连贯性的能力。可能是DALL·E背靠ChatGPT所以在对自然语言各方面的性能上会更优异一些。 但Midjourney似乎也在瞄着ChatGPT为代表的语言模型的能力来进化。在此次的更新中V6增加的另一个非常重要的能力也与语言有关。Midjourney称其现在拥有了文本绘制能力虽然依然较弱。 对于人工智能绘图来说能绘制文本无疑是一项重大进步。 文字不再是乱码。图源X.com 这个能力并非像看起来那样直接来自模型里大语言模型的模块。在官方更新里文本绘制能力后紧随的是图像放大功能的更新。它们原理比较复杂但本质其实是同一个问题。 图像生成模型在训练的时候所用的数据是一些通过泛化和模糊处理的图像内容。我们都知道分辨率越高的图片数据量越大反之越模糊越泛化的图片它的数据量就越小。人工智能理解图片的方式和人类完全不一样他们是按照统计学的一个概念叫做“模式识别”通过图片中的特征来理解。使用泛化和模糊的图片好处在于小数据量的图片读取速度快训练时间就短。但想要用这种训练方式来理解文字是非常难的因为文字是一种符号这种泛化处理对于图像中的文字尤其不利即使是微小的变形或模糊都可能导致文字难以辨认。同时训练所使用的图像分辨率很低那么生成图片时分辨率也不会高到哪里去。 图片上的文字与图像整体风格融合。图片来源X.com 而Midjourney的训练方法其实就是在训练它的图像“放大”能力。它所使用的模型叫做去噪扩散概率模型denoising diffusion probabilistic models这种模型通过模拟从噪声中提取信息的过程来生成清晰的图像。想象一下就像我们用软件修复模糊的老照片Midjourney的模型也能够从模糊的图像中“学习”到清晰的细节。 图片来源X.com 也就是说这是像Midjourney这样的图像模型一直在做的事情训练越久优化越久它的图像“放大”能力就越强也就会逐渐产生关于文字的生成能力。 在直觉上这种能力肯定不如“纯粹”的语言模型的语言能力但一些研究已经在给出不同的指向在多模态领域很重要的模型VLMO的论文里就曾提到一个有意思的结论当你完全拿一个在视觉数据上训练好的模型可以直接对文本数据建模甚至不需要微调就可以有很强的文本生成能力。但反过来用语言训练在视觉上生成则差很多。 这也许就是视觉想对文字说的话。图源X.com 这是一种很奇怪也很有意思的现象这一次V6似乎把它再一次轻微的展示出来了。而更重要的是在今天多模态大模型已经成为未来最重要的趋势时一个图像能力为主的模型产生文字能力给了走向多模态一个新的思路。 世界更精彩了。