题目：OMG-Seg : Is One Model Good Enough For All Segmentation?

作者：Xiangtai Li1 † Haobo Yuan1 Wei Li1 Henghui Ding1 Size Wu1 Wenwei Zhang1Yining Li2 Kai Chen2 Chen Change Loy1

代码：OMG-Seg

会议：cvpr2024

---

边读边记：

这里面提到，omg-seg是首个将图像、视频、开放词汇、交互分割，四种结合到一起的模型。之前的unified models是有一个共享的视觉backbone，多个特定任务分枝；而本模型是共享的encoder-decoder架构，所有任务的输出都被统一为一种“查询表示”（Query Representation），通过这种设计，OMG-Seg 能够用一个统一的框架处理多种任务，而无需为每个任务设计单独的分支。

3.1节：定义了图像分割、视频分割、交互分割、开放词汇分割的任务。

其中视频分割提到了tube mask，但是我不太理解tube mask是什么样子的。大概就是每一帧都有mask吧。

interactive segmentation中，编码过程是将每个visual prompt（比如一个点坐标或一个矩形框）转化为一个对象查询向量。

Open-Vocabulary and Multi-Dataset Segmentation中，在视觉任务中使用 CLIP 文本嵌入 （CLIP text embedding）作为掩码分类器（mask classifier）意味着直接用文本嵌入来表示类别。

所以本篇文章是提出了 All the Things are in Queries，通过将所有实体的预测统一到查询机制中，可以实现对多种分割任务的支持。

统一的查询掩码分类框架：

作者提到，通过结合不同的任务设置，可以使用相同的基于查询的掩码分类框架来表示所有的分割实体。

• 具体来说，每个对象查询（object query）对应三个输出：

  • mask掩码（mi）：表示预测的分割掩码（即物体的像素级区域）。

  • label标签（ci）：表示预测的类别标签（如“人”、“车”等）。

  • ID（di）：表示实例的唯一标识（用于区分同一类别的不同实例，常用于实例分割任务）。

• 不同的分割任务（如语义分割、实例分割、全景分割等）对 mi、ci、di 的格式和范围有不同的要求。例如：

  • 在语义分割中，di 可能不需要，因为只关心类别标签 ci 和掩码 mi。

  • 在实例分割中，di 是必需的，因为需要区分同一类别的不同实例。

• 尽管不同任务对 mi、ci、di 的具体要求不同，但它们的格式和范围是相似的，因此可以统一到一个框架中。

3.2 omg-seg的架构

backbone+pixel decoder+mask decoder

backbone：OpenCLIP 中的 ConvNeXt 架构作为视觉编码器（VLM Encoder）。是冻结的

pixel decoder：作为特征适配器，因为VLM Encoder 提取的特征是冻结的，可能不完全适合特定的分割任务。那么Pixel Decoder 通过多阶段的可变形注意力机制，能够动态调整特征，使其更适合生成高质量的分割掩码。它还能够融合多尺度特征，增强模型对物体大小和形状的适应性。

mask decoder：基于高分辨率特征，生成最终的掩码和类别标签。

Combined Object Queries（组合对象查询）：不同任务（如图像、视频、交互式分割）对对象查询的需求不同，图像任务：对象查询关注物体级别的定位和识别；视频任务：对象查询需要考虑时间一致性（如跨帧的物体跟踪）；交互式分割：对象查询需要定位用户指定的特定区域。

• 语义查询（Semantic Queries, QsobjQsobj​）：

  • 用于图像和视频任务。

  • 这些查询负责生成图像掩码（image masks）或跟踪的管状掩码（tracked tube masks），并需要语义标签。

  • 例如，在视频任务中，语义查询需要确保同一物体在不同帧中的掩码具有时间一致性。

• 位置查询（Location Queries, QlobjQlobj​）：

  • 用于交互式分割任务。

  • 这些查询通过 Prompt Encoder 将各种视觉提示（visual prompts）编码为与对象查询相同的形式。

  • 例如，用户可以通过点击或框选指定感兴趣的区域，Prompt Encoder 将这些提示转换为位置查询。

• 组合对象查询：

  • 将语义查询 QsobjQsobj​ 和位置查询 QlobjQlobj​ 组合在一起，共享相同的解码器接口。

Shared Multi-Task Decoder（共享多任务解码器）：核心操作：交叉注意力（cross-attention）。输入：组合对象查询（QsobjQsobj​ 和 QlobjQlobj​）和图像/视频特征 {Fjfuse}{Fjfuse​}。输出：精炼后的对象查询（refined object queries）。最终掩码通过精炼后的查询和高分辨率特征 F3fuse的点积得到。

图像任务加入2d位置嵌入，视频任务是要加入3d位置嵌入的：

4 实验

数据集：coco分割的一堆等 还有视频分割的Youtube-VIS-2021, ADE-20k [102], and DAVIS-2017 datasets 等

实现细节：

• 实现框架：基于 MMDetection，使用 32 张 A100 GPU 进行分布式训练。

• 数据增强：采用大规模抖动方法。

• 训练步骤：统一训练步数，确保公平比较。

• 模型初始化：使用 OpenCLIP 初始化 backbone，并替换分类器为文本嵌入。

• 输入处理：将图像输入视为伪视频，统一图像和视频任务的输入格式。

• 训练策略：调整采样率平衡数据集，报告冻结和训练 backbone 的结果。

• 小知识：

• 分布式训练中，总 Batch Size 是所有 GPU 上样本的总和。每个 GPU 的 Mini-batch Size 是单个 GPU 上处理的样本数量。

• 在 OMG-Seg 中，每个 GPU 的 Mini-batch Size 为 1，意味着每个 GPU 每次处理 1 张图像，32 个 GPU 一起处理 32 张图像（总 Batch Size = 32）。

---

---还没写完 先发布 后面接着写