机器学习周报三十一

文章目录

- 摘要
- Abstract
- - 1 TripleFDS
  - 2 Flux-Text
- 总结

摘要

本周看了两篇关于场景文本编辑的论文，达到了最新的SoTA的论文，学习到了数据集构建和损失函数构造对模型性能提升至关重要。

Abstract

This week, I read two papers on scene text editing, both achieving the latest state-of-the-art results. I learned that dataset construction and loss function design are crucial for improving model performance.

1 TripleFDS

腾讯前不久发的论文，达到了场景文本编辑SoTA的性能。

传统的方法修改会出现缺失、风格不匹配和模糊背景等问题。因为模型不能清晰地分清“哪个是字，哪个是风格，哪个是背景”。这些属性在模型的“眼里”是“纠缠”在一起的，动一个就可能影响全局。
为了解决这个“纠缠”难题，TripleFDS设计了一套精巧的“解耦-合成”流程，核心在于其创新的训练数据构建方式和独特的约束机制。

SCB Synthesis：像搭积木一样创造数据

首先，为了让模型学会区分三种特征，研究者们提出了一种名为SCB Synthesis的数据集构建方法。这里的S、C、B分别代表风格（Style）、内容（Content）和背景（Background）。
他们设计了一个叫“SCB Group”的概念。有3种字体风格、3段文字内容和3个背景图片，将它们三三组合，得到 3x3x3 = 27 张不同的图片。这些图片构成一个SCB Group，组内的每张图片共享着某些属性（相同的风格、内容或背景）。
通过构建大量的这种“积木组合”，模型在训练时就能接触到各种各样的解耦样本，从而潜移默化地学会：“哦，原来改变文字内容，风格和背景是可以保持不变的”。

解耦与合成
TripleFDS的整体框架如下图所示，它主要包含特征解耦和特征合成两个阶段。

特征解耦：模型使用一个基于Transformer的解耦模块，将输入的图片编码成三个独立的特征向量： (风格), (内容), (背景)。为了保证解耦的彻底性，研究者设计了两种特殊的损失函数：

组间对比损失：这个损失函数的目标是“拉近同类，推开异类”。在SCB Group内部，拥有相同属性（比如相同风格）的图片，它们的风格特征应该尽可能接近；而属性不同的图片，特征则要相互远离。
样本内正交损失：这个损失函数则聚焦于单张图片。它要求从同一张图片中提取出的风格、内容、背景三个特征之间应该尽可能“正交”，也就是互不相关，以此来减少特征之间的信息冗余。
特征合成：在合成阶段，模型会将解耦出的特征重新组合，以生成新的图片。这里有一个非常巧妙的设计，叫做“特征重映射 (Feature Remapping)”。在训练时，模型并不直接用原始图片的三大特征去重建自己，而是会从SCB Group中找一个“亲戚”的特征来替换掉自己的一部分。比如，在重建图片A时，故意把它的背景特征换成同一Group里图片B的背景特征。
这种“捣乱”的方式，其实是给模型的学习增加了难度，迫使它不能走“捷径”。如果背景特征里偷偷包含了文字风格的信息，那替换背景后，重建出的图片风格就会出错，导致损失变大。

从实验结果可以看到文字识别的准确率、FID和图像保真率(SSIM、PSNR)绝大多数都超过了之前的方法。

同时，这个框架也可以有其他的功能：

风格替换：保持文字内容和背景不变，把文字换成另一种字体风格。
背景迁移：保持文字内容和风格不变，把整段文字“搬”到一张全新的背景图上。

2 Flux-Text

场景文本编辑的任务是在图像中修改或添加文本，同时保持新生成文本的保真度和与背景的视觉一致性，仍然面临挑战，经常生成不准确或无法识别的字符，特别是对于具有复杂字形结构的非拉丁文（如中文）。

文本编辑问题：给定一张图像img和一个提示 text，有一个文本行集合。其中每个表示在区域内要编辑的文本，n 表示文本行的数量。

为了高保真度和可靠的编辑结果，使用了最先进的 T2I 编辑模型 FLUX-Fill，如图所示。在扩散流程（图(a)）中，原始图像特征和掩膜图像特征是通过对原始输入图像和与文本区域对应的掩膜图像应用 VAE得到的。为了增强文本编辑性能，分别通过视觉嵌入模块和文本嵌入模块导出基于字形的条件和文本条件。随后，通过前向扩散过程生成噪声潜在图像特征，其中 t 表示时间步长。使用 DiT 去噪器来估计添加到噪声潜在图像中的噪声，目标函数如下：

其中 Ld 表示RF损失。
为了增强 FLUX-Fill 的场景文本编辑能力，需要将字形条件注入 DiT 模型。然而，如何注入字形条件仍然是一个未解的问题。因此，在视觉和文本嵌入模块中设计了几种不同类型的字形注入方式，并通过充分的消融研究找到最佳方案。通常，文本区域只占据图像的一小部分。仅使用 RF 损失，可能无法专注于处理文本区域。因此，提出了一种文本感知损失函数，使去噪器能够专注于学习文本区域，从而增强文本编辑效果。

准确地编辑多行文本尤其具有挑战性，尤其是在处理复杂多笔画字符时。这主要是由于难以融入丰富的细粒度信息，从而限制了去噪器有效引导文本编辑的能力。为了解决这些问题，在视觉嵌入模块中探索了多种不同的字形嵌入设计，并找到了最适合文本编辑的一种。边缘注入（Edge Injection）：使用字形的边缘信息来增强文本编辑能力。直接使用传统的 Canny 算法进行边缘检测。然后，对边缘图像应用 VAE 编码器以获取与字形相关的信息。最终的基于字形的条件表示为：

在此注入方式中，得益于 VAE 强大的编码能力，充分的字形条件被注入到 DiT 去噪器中，并且由于参数较少，训练过程更加稳定。

由于大多数预训练的文本编码器（例如 T5）是基于拉丁字母数据集开发的，它们在理解其他语言（如中文字符）时往往表现不佳。此外，尽管这些文本编码器擅长从图像描述中提取语义信息，但用于渲染的文本的语义内容通常非常有限，这限制了其有效引导文本生成的能力。为了解决这些问题，先前的方法提出了一些解决方案，将文本的语义信息编码为文本嵌入以增强编辑能力。将这些方法分为两类：OCR 注入和 ByT5 注入。以下是对这两种方法的详细描述。

OCR 注入：我们将字形文本行转换为图像（如图所示），从而捕捉字形信息，并用其替代原本从描述文本标记中获得的嵌入向量。这些修改后的嵌入向量随后作为标记输入到预训练的文本编码器中，以生成最终的文本嵌入。文本表示融合了文本字形和描述语义两方面的信息，其表达如下：

其中，y′ 是从 y 处理得到的描述文本，其中每个待编辑的文本行都被替换为指定的占位符 S∗。经过分词和嵌入查找（记作 ϕ(⋅)）后，获得描述文本的嵌入向量。随后，每行文本被可视化为一张图像，即通过将单行文本居中放置在图像上生成。图像输入到一个 OCR 模型（具体为 PP-OCRv3 ）中，以提取全连接层之前的特征用于文本嵌入。接着使用一个 MLP 层 ξ 使其尺寸与描述文本的嵌入向量一致，并替代 S∗ 的嵌入。最后，所有词嵌入通过预训练的文本编码器进行编码，得到最终的文本表示。

实验结果