大连网站建设培训班,制作网页的工具主要有哪些,如何用ftp上传文件到网站,电商平台怎么做在过去的十年中#xff0c;出现了许多涉及计算机视觉(CV)的项目#xff0c;无论是小型的概念验证项目还是更大规模的生产应用。应用计算机视觉的方法是相当标准化的: 1、定义问题(分类、检测、跟踪、分割)、输入数据(图片的大小和类型、视野)和类别(正是我们想要的) 2、注释…在过去的十年中出现了许多涉及计算机视觉(CV)的项目无论是小型的概念验证项目还是更大规模的生产应用。应用计算机视觉的方法是相当标准化的: 1、定义问题(分类、检测、跟踪、分割)、输入数据(图片的大小和类型、视野)和类别(正是我们想要的) 2、注释一些图片 3、选择一个网络架构训练-验证得到一些统计数据 4、构建推理系统并进行部署 到2023年底人工智能领域迎来了生成式人工智能的新成功:大型语言模型(llm)和图像生成模型。每个人都在谈论它它们对小型计算机视觉应用有什么改变吗? 本文将探索是否可以利用它们来构建数据集利用新的架构和新的预训练权重或者从大模型中提取知识。 小型计算机视觉 在这里我们通常感兴趣的是可以以相对较小的规模构建和部署的应用程序: 开发成本不应该太高 它不应该需要一个庞大的基础设施来训练(想想计算能力和数据规模) ‍它不需要很强的研究技能而是应用现有的技术 ⚡推理应该是轻量级和快速的以便它可以嵌入或部署在CPU服务器上 总体环境足迹应该很小(考虑计算能力模型/数据的一般大小没有特定的硬件要求) 这显然不是当今人工智能的趋势因为我们在今年看到的都是具有数十亿个参数的模型并且这些模型开始成为某些应用程序的标准。但重要的是关心更小的规模是至关重要的并不是所有的项目都应该遵循谷歌、Meta、OpenAI或微软的规模趋势并且我们也不可能有它们那么大的资金。 目前来看大多数有趣的计算机视觉项目实际上也比那些大公司的项目规模要小得多但这并不意味着我们就要缩小我们的应用程序而是说我们应该更加关心开发和推理成本。所以考虑到这一点我们还能在应用中利用人工智能的最新发展吗? 首先看看基础模型 计算机视觉中的基础模型 新的大型语言模型(LLM)已经很流行因为你可以很容易地在应用程序中使用基础模型(许多是开源的或者可以通过API使用)。把GPT、Bert、Llama看作这样的模型。基础模型是一个非常大的通用神经网络它是大多数下游任务的基础。它包含了非常广泛的主题语义语法不同的语言等知识。 在计算机视觉中这样的模型已经存在了很长一段时间了:使用ImageNet(100万张标记图像)上预训练的神经网络作为下游任务的“基础”模型是标准的。你可以在它的基础上构建你的神经网络如果需要的话还可以根据你自己的数据对它进行微调。 ImageNet预训练网络和llm之间有两个主要的概念区别: 训练的数据类型:ImageNet依赖于纯粹的监督学习:一个大规模的分类任务而LLM是生成模型:它们以一种使用原始文本的自监督方式训练(任务只是预测下一个单词)。 基础模型对新任务的适应:ImageNet预训练网络系统地需要一个新的学习过程来适应新的任务。但是对于llm虽然可以对模型进行微调但模型已经足够强大无需任何进一步的训练就可以用于下游任务只需用正确的信息提示模型使其对新任务有用。 目前大多数计算机视觉应用如分类目标检测分割仍然使用ImageNet预训练网络。下面我们回顾一下可能用于计算机视觉任务的或即将出现的新模型。 计算机视觉的新基础模型综述 在计算机视觉的世界里除了ImageNet有很多自监督网络的例子其中一些是生成模型(比如GAN和最近的扩散模型)。它们只接受原始图像或图像-文本对(例如图像及其描述)的训练。它们有时被称为LVM(大视觉模型)。 (弱)有监督的视觉模型: 1、DINOv2 (Meta) -一个大型ViT(1B参数)的集合以完全自监督的方式进行训练。 2、SAM Segment Anything (Meta) -一个用于高分辨率图像的ViT专门设计用于分割并可以进行零样本分割(不需要注释来生成新的分割蒙版)。另一个用例是使用SAM作为医学图像分割的附加输入。 基于图像-文本对训练的视觉语言基础模型: CLIP (OpenAI) -图像和简短描述的对齐非常适合于拍摄分类并在实践中用作各种下游CV任务的基础模型 大型生成模型现在是多模态的(包括能够在其架构中理解复杂文本的大型语言模型): StableDiffusion Dall-E (OpenAI) 视觉专用多任务大型模型 Florence-2:统一计算机视觉(Microsoft) 大型闭源坏模型 只能通过api获得:大型多用途模型不以视觉为中心但展示了出色的视觉能力以及生成能力; GPT-4V (OpenAI) Gemini (Google) 除了闭源以外还有许多开源的、更小的、多用途的视觉文本聊天模型正在开发中例如LlaVA。 所有这些模型都是强大的基础模型涵盖了许多视觉领域在许多情况下都能很好地完成判别或生成任务。如何在我们特定的小型环境中利用它们呢? 构建训练数据集 使用这些新模型的一个实用的想法是保持我们的标准训练管道例如广泛使用的Yolo检测器通过生成新的训练图像和/或生成注释来改进我们的数据集。流程如下: 标准数据集由一组带注释的训练和验证图像组成 增强数据集将使用强大的通用模型来添加自动注释: 1)对未标记图像的新注释⇒这需要一个已经适合任务的模型。可以使用一个非常大的通用模型仔细地添加示例或提示进行零标注或者根据现有的人工注释对非常大的模型进行微调。 2)在现有标注的基础上增加一层新的信息例如使用SAM从边界框信息中自动添加分割标注 生成的数据集由生成的图像及其注释组成。构建一个由图像和/或文本组成的提示以生成数千个图像及其注释。可以直接使用API来生成这些带注释的图像(与寻找好的图像和收集人工注释相比成本应该很小)。 将验证集与生成的或增强的集分开因为要在精心标记的数据上度量实际性能。这意味着在实践中即使我们选择了新的生成技术或基础模型仍然需要对真实图像进行一些手动标记。 扩充数据集的例子 可以从现有的图像开始通过丰富它们或使它们更容易注释来改进标签。现在有几个数据标注平台提出使用SAM或DINOv2通过对图片中的物体进行预分割来提高标注效率。 生成的数据集示例 虽然生成数据集的想法已经存在很长时间并且被广泛用于训练LLM但找到真正的小型应用程序来有效地利用生成的数据(自动注释或纯合成数据)是相当具有挑战性的。 不使用基础模型而是使用简单的渲染管道或者使用类似的技术使用3D渲染来生成数据这些结果目前看起来还很粗糙 https://github.com/921kiyo/3d-dl 使用生成模型完全生成图片和注释以下图片是使用Dall-E 生成图片的样例 还可以使用CV处理构建数据集(例如将对象粘贴到背景中进行分割任务)但是这里的问题是数据的质量将在很大程度上取决于生成图像的质量因此将不得不在构建正确的渲染步骤上投入大量精力(在3D中甚至更多)。 目前还没有太多使用纯生成模型生成数据集的成功例子但考虑到最近图像生成AI模型的渲染质量和可操作性我个人认为这只是时间的问题。比如有可能使用ControlNet从现有的分割蒙版或轮廓开始生成已经有标签的新图片但目前还不清楚它是否能很好地与非分布类(即不是标准的COCO类)一起工作或者分辨率是否足够好。 下面这篇论文提出了一个类似的想法即修改现有的标记图片以生成共享分割掩码的新图片从而产生增压的语义数据增强。 https://liu.diva-portal.org/smash/get/diva2:1779399/FULLTEXT01.pdf 但是当生成成千上万的图像而不是手动管理和标记它们时应该考虑成本因为改进并不明显! 最后 通过训练带有人类注释数据的模型来实现现代计算机视觉的方式即将被新的大型基础模型彻底改变。 大型基础模型有时具有“纳米级”版本用于在低端服务器甚至嵌入式应用程序上进行推理。但是对于这些应用来说它们仍然太大了并且对于新任务的调整也不是那么便宜。因为目前我们还是不会边缘设备上使用500M参数的VIT模型而是选择更小更专业的模型。 但是对于小型的推理和低资源开发我们也可以使用大型基础模型或者通过使用api /本地推理直接调用这些模型或者使用这些模型的一些知识。今天主要通过帮助标记数据明天通过其他方式知识转移-例如蒸馏。 没有标准的程序或普遍的方法来从这些大型或生成模型中转移这些知识但它可能会在2024年有所发展! https://avoid.overfit.cn/post/27697c284d4f4a4d93f91be616e3e998 作者:Charles Ollion