文章：ORCA: Object Recognition and Comprehension for Archiving Marine Species

代码：https://orca.hkustvgd.com/

单位：香港中文大学

一、问题背景：海洋AI研究的两大“拦路虎”

用AI理解海洋生物，核心要解决“数据”和“任务”两大难题。

一方面，现有海洋数据集严重“偏科”：要么只覆盖几种到几十种海洋生物，地理范围局限；要么只聚焦鱼类等单一类群，缺乏对珊瑚、贝类、哺乳动物等多元物种的覆盖，更没有详细的文字描述支撑精细研究。

另一方面，AI任务设计跟不上科研需求：普通图像分类只能判断“有没有鱼”，却分不清具体种类；目标检测局限于固定类别，面对未知物种束手无策；图像描述模型只会说“一条大鱼”，没法精准捕捉生物的形态、颜色、行为等科研关键信息。这些问题导致AI在海洋生态监测、生物多样性保护等场景中难以发挥实际作用。

二、方法创新：ORCA数据集的三大核心突破

为解决上述痛点，研究团队打造了ORCA（海洋物种识别与理解归档数据集），带来三大颠覆性设计：

1. 超全物种覆盖+双模态标注：包含14647张图片，覆盖478种海洋生物（对应670个常用名），从海星、珊瑚到鲨鱼、海獭应有尽有。每张图片都标注了生物位置框（42217个），还搭配了22321条经海洋生物学家验证的文字描述，既说清科学名，又详细记录形态、栖息地、行为等关键特征。

2. 精细标注+错误样本保留：针对海洋生物形态特殊的特点，确保位置框完整覆盖透明鱼鳍、细长附肢等细节；文字描述不仅有准确内容，还特意保留了12431条错误描述（如颜色误判、物种混淆），帮AI更好地区分相似物种。

3. 多任务支持+分层评估：不仅能支撑目标检测、图像描述、视觉定位三大核心任务，还设计了“类级、类内、类间”三种评估场景，专门测试AI在相似物种识别中的表现，贴合真实科研需求。

三、实验结果：18款顶尖AI模型的“海洋考试”成绩单

研究团队用18种当前最先进的AI模型在ORCA上做了全面测试，结果亮点十足：

1. 目标检测：结合文字信息的开放词汇检测模型表现更优，其中DECOLA模型凭借语言引导策略，在相似物种识别中脱颖而出；单纯依赖视觉特征的模型，在区分近亲物种时容易“认错”。

2. 图像描述：普通AI模型只会生成“一条鱼”这类笼统描述，而用ORCA微调后的MiniGPT-4，能精准说出“带绿粉光泽的鹦嘴鱼在礁石附近游动”，各项评估指标提升明显，最高涨幅超11个百分点。

3. 视觉定位：基于详细文字描述，AI能精准找到对应生物位置，即使是没见过的物种，零样本场景下也有不错表现；经过ORCA微调后，模型定位准确率普遍提升10个百分点以上，最高可达88%。

四、优势与局限：ORCA的价值与未来方向

核心优势

1. 填补领域空白：是首个同时具备“广物种覆盖、细粒度标注、多任务支持”的海洋数据集，解决了长期以来海洋AI缺乏优质数据的痛点。

2. 科研实用性强：标注信息完全贴合海洋科研需求，文字描述包含专业术语和关键特征，能直接支撑生态监测、物种归档等实际工作。

3. 推动技术升级：暴露了现有AI在专业领域的短板，为后续开发海洋专用AI模型提供了明确方向，微调效果证明了数据集的实用价值。

现存局限

目前ORCA覆盖的478种物种，相较于海洋中数百万种生物仍显不足；部分稀有物种的样本数量较少，可能影响AI对这类物种的识别效果。研究团队计划持续扩充数据集，纳入更多物种和样本。

五、一句话总结

ORCA数据集用“全物种覆盖+精细双模态标注+科研化任务设计”，为AI进军海洋研究搭建了首个全面基准，让机器从“看懂海洋生物”向“理解海洋科研需求”迈出关键一步，未来将有力支撑海洋生态保护、生物多样性监测等重要工作。