北大团队创新方案：CKDA框架解决跨模态行人重识别的持续学习痛点

北大团队提出CKDA框架，解决跨模态行人重识别中的持续学习灾难性遗忘问题。该框架通过跨模态通用提示生成器提取共享特征，单模态专用提示生成器保留模态特有信息，以及跨模态知识对齐引擎防止遗忘。实验表明，该框架在四个主流数据集上显著优于现有方法，但在模型复杂度和通用性方面仍有改进空间。这一创新为智能安防领域的终身学习系统提供了新思路。

北大团队搞了个CKDA框架，号称能搞定跨模态行人重识别的持续学习灾难性遗忘问题。核心思路简单粗暴：把知识拆成两份，一份大家共用，一份各回各家。

这事儿为什么难搞？

话说在智能安防这摊子事里，昼夜监控是个老大难。白天靠可见光摄像头，晚上得切红外，但这两个模态的数据分布差得不是一星半点。圈里人想搞个终身学习的系统，让模型能持续吸收新数据，结果却发现——每学一批新的红外数据，模型就把之前跨模态的共享知识给覆盖掉了。

这事儿细想起来挺要命。红外模态有它自己的热辐射特征，可见光模态有颜色和纹理。传统持续学习方法，不管是经验回放还是知识蒸馏，都没法阻止这两类知识在表征空间里打架。梯度一更新，红外特有的热敏信息就把可见光-红外共通的体态结构编码给冲了，反过来也一样。调参调到怀疑人生也没用，这根本不是参数问题，是架构设计就没给两类知识留独立通道。

CKDA：拆就完事了

彭宇新教授那帮人提出来的CKDA（Cross-modal Knowledge Disentanglement and Alignment），名字听着拗口，但思路其实挺直观——在特征提取层面就物理隔离两种知识流。

他们整了三个模块：

跨模态通用提示生成器。这玩意儿干的事就是“去风格化”。输入图像先过实例归一化，把可见光和红外的统计分布差异抹平，然后搞个双分支通道注意力网络，动态评估哪些通道对双模态都管用。说白了，就是自动找出那些不管白天黑夜都能用的特征——比如人体轮廓、走路姿态——然后生成通用提示向量。这个向量像是个公共知识库，专门存跨模态共享的东西。

单模态专用提示生成器。跟上面那个互补，专门放大模态差异。用Dropout和可学习投影矩阵给可见光和红外各建一个私有编码空间。可见光这边存服饰颜色纹理，红外那边存热辐射强度分布。通过最小化专用提示损失，确保模态特有的知识在增量学习时不被公共信息稀释。

跨模态知识对齐引擎。这是防止遗忘的关键。用历史模型提取的旧数据特征中心当锚点，同时约束两个空间：跨模态匹配空间（让新旧模型对同一身份跨光谱样本的相似度分布保持一致）和模态内聚类空间（维持单模态特有判别力）。双空间对齐，用的是Softmax归一化的相似度匹配损失，精确控制知识遗忘速率。

实验结果：看起来能work？

他们在SYSU-MM01、RegDB等四个主流数据集上搭了个终身学习基准测试。CKDA跑出了36.3%的平均mAP和39.4%的Rank-1准确率。说实话，这数字在静态数据集上不算惊艳，但在持续学习场景下比现有最优基线高出一截——具体高多少原文没细说，只给了“显著超越”四个字。

可视化有点意思。通用提示的注意力热力图确实集中在行人骨架和整体形态，专用提示则各管各的：可见光分支盯着衣服颜色，红外分支锁定高热部位。这种互补模式验证了解耦确实发生了，不是纸上谈兵。

槽点和隐忧

说实话，这框架有个潜在的坑。双通道提示机制虽然解耦了知识，但也把模型复杂度拉上去了。每个模态都要走一遍通用+专用的计算流，推理开销会不会翻倍？原文没提latency和FLOPs，这在实际部署里可是硬指标。

另外，跨模态通用提示的“通用性”到底能泛化到什么程度？如果来个全新的模态（比如深度图），这通用提示还管用吗？还是说又得重新训练一套？这里存疑。

还有个小细节：他们用的是Softmax归一化的相似度匹配损失来控制遗忘速率。这个“速率”是手工调的超参，还是自动学的？要是手工调，那在真实场景里又是另一个调参地狱。

最后扯两句

CKDA这波操作，本质上是在prompt learning的框架下给持续学习打了个补丁。思路不复杂，但恰恰因为不复杂，反而可能真的work。现在多模态大模型火得一塌糊涂，灾难性遗忘问题只会越来越痛。我猜下一步，这帮人可能会把CKDA往CLIP那种大规模预训练模型上套——如果能在不存历史数据的情况下让CLIP持续学习新模态，那才算真本事。

不过话说回来，持续学习这领域，paper里的“终身演进”和工业界的“上线跑一年不崩”，中间隔着的可不止一个AAAI。崔振宇同学要是真想把这个框架推向实用，得找几个真实的安防项目磨一磨，别光在benchmark上刷数字。