效果炸裂！SAM 3打造的智能抠图案例展示

1. 技术背景与核心价值

图像和视频中的对象分割是计算机视觉领域的一项基础且关键任务，广泛应用于内容创作、自动驾驶、医疗影像分析和增强现实等场景。传统方法往往依赖大量标注数据进行训练，并局限于预定义类别，难以应对开放世界中千变万化的物体描述。

Meta最新推出的SAM 3（Segment Anything Model 3）是一个统一的基础模型，专为图像和视频中的可提示分割而设计。它突破了传统语义分割的局限，支持通过文本提示或视觉提示（如点、框、掩码）来检测、分割并跟踪任意对象，真正实现了“你说我分”的交互式智能抠图体验。

相较于前代模型，SAM 3 的最大亮点在于其强大的开放词汇理解能力。借助创新的数据引擎自动标注超过400万个独特概念，SAM 3 能够理解极其广泛的自然语言描述，在包含27万个独特概念的新基准 SA-CO 上表现接近人类水平的75%-80%。这使得用户只需输入“穿红衣服的小孩”、“左侧第三只猫”这类自然语言指令，即可精准定位并分割目标。

此外，SAM 3 引入了全新的解耦式检测器-追踪器架构，在保证高精度的同时显著提升了视频处理效率，使其成为目前最先进的一体化图像与视频分割解决方案之一。

2. 镜像部署与快速上手

2.1 部署流程与系统启动

CSDN 提供的SAM 3 图像和视频识别分割镜像极大简化了本地部署流程。开发者无需手动配置复杂环境，只需在平台选择该镜像创建实例，系统将自动完成以下操作：

安装 PyTorch 及相关依赖
下载 SAM 3 模型权重文件
启动 Web 可视化服务

部署完成后，等待约3分钟让模型完全加载至显存。点击控制台右侧的 Web 图标即可进入交互界面。若页面显示“服务正在启动中...”，请稍作等待直至主界面正常渲染。

2.2 用户界面与基本操作

系统提供直观的图形化操作界面，支持两种主要输入方式：

上传媒体文件：支持 JPG/PNG 等常见图片格式以及 MP4 视频文件。
输入英文提示词：仅支持英文输入，例如"dog"、"bicycle wheel"或"person in red hat"。

一旦提交请求，系统将在数秒内返回结果，包括：

分割后的透明通道掩码（Alpha Mask）
对象边界框（Bounding Box）
多尺度分割结果（不同置信度下的多个候选区域）

所有结果均以叠加形式实时呈现在原图之上，便于用户直观评估效果。

官方链接：facebook/sam3 on Hugging Face

3. 核心功能详解与实践案例

3.1 文本驱动的图像分割

文本提示是最直接的交互方式。用户无需提供任何坐标信息，仅凭自然语言描述即可触发分割。

from PIL import Image from sam3.model_builder import build_sam3_image_model from sam3.model.sam3_image_processor import Sam3Processor # 加载模型与处理器 model = build_sam3_image_model() processor = Sam3Processor(model) # 加载待处理图像 image = Image.open("test_image.jpg") inference_state = processor.set_image(image) # 使用文本提示进行分割 output = processor.set_text_prompt(state=inference_state, prompt="shoe") # 获取输出结果 masks, boxes, scores = output["masks"], output["boxes"], output["scores"]

上述代码展示了如何使用"shoe"作为提示词对图像中所有鞋子进行检测与分割。SAM 3 内部会将文本编码为语义向量，并与图像特征进行跨模态匹配，最终生成高质量的掩码集合。

实际测试表明，即使面对模糊描述如"furry animal"或"round object on table"，SAM 3 也能准确识别对应实体，展现出卓越的语言-视觉对齐能力。

3.2 视觉提示增强分割精度

当文本提示存在歧义时（例如画面中有多个相似对象），可通过添加视觉提示进一步引导模型。

单边界框提示

使用一个矩形框圈定感兴趣区域，告诉模型：“请分割这个类型的物体”。

# 定义边界框 (x, y, w, h) box_input_xywh = torch.tensor([480.0, 290.0, 110.0, 360.0]).view(-1, 4) box_input_cxcywh = box_xywh_to_cxcywh(box_input_xywh) norm_box = normalize_bbox(box_input_cxcywh, width, height).flatten().tolist() # 添加几何提示 processor.reset_all_prompts(inference_state) inference_state = processor.add_geometric_prompt( state=inference_state, box=norm_box, label=True )

此方法特别适用于需要精确定位特定实例的场景，比如只想分割某一只狗而非画面中所有的狗。

多框提示（正负样本结合）

更进一步地，SAM 3 支持同时传入多个正例（positive）和负例（negative）框，实现更复杂的逻辑表达。

# 正框：左鞋；负框：右鞋 boxes = [[480, 290, 110, 360], [370, 280, 115, 375]] labels = [True, False] # 第二个框为负样本 for box, label in zip(norm_boxes, labels): inference_state = processor.add_geometric_prompt( state=inference_state, box=box, label=label )

通过引入负样本机制，可以有效排除干扰项，提升分割准确性。例如在家具电商场景中，可轻松区分“带扶手的椅子”与“无扶手的椅子”。

3.3 视频对象分割与动态跟踪

SAM 3 不仅擅长静态图像处理，还能在视频序列中实现跨帧的对象追踪，构建完整的时空掩码。

from sam3.model_builder import build_sam3_video_predictor video_predictor = build_sam3_video_predictor() video_path = "example_video.mp4" # 开启推理会话 response = video_predictor.handle_request({ "type": "start_session", "resource_path": video_path }) session_id = response["session_id"] # 在第0帧添加文本提示 video_predictor.handle_request({ "type": "add_prompt", "session_id": session_id, "frame_index": 0, "text": "person" }) # 推理整个视频 outputs_per_frame = {} for resp in video_predictor.handle_stream_request({ "type": "propagate_in_video", "session_id": session_id }): outputs_per_frame[resp["frame_index"]] = resp["outputs"]

在整个过程中，SAM 3 维护一个状态化会话，持续更新每个对象的唯一 ID 和时空位置，从而实现稳定跟踪。即使目标短暂遮挡或出镜后返回，也能正确关联身份。

动态编辑功能

在视频处理过程中，还可随时进行交互式修改：

移除对象：调用remove_object移除误检或不需要的个体。
添加新对象：通过点击屏幕添加新的追踪目标。
优化掩码：利用正负点击微调当前帧的分割结果，随后自动传播到后续帧。

这些功能使 SAM 3 成为视频后期制作、运动分析和监控系统的理想工具。

4. 批量处理与高级应用

4.1 图像批量推理模块

对于大规模数据集处理需求，SAM 3 提供高效的批量推理接口，支持一次性处理多张图像及多种查询组合。

from sam3.train.data.collator import collate_fn_api as collate from sam3.model.utils.misc import copy_data_to_device # 创建两个独立的数据点 datapoint1 = create_empty_datapoint() set_image(datapoint1, img1) add_text_prompt(datapoint1, "cat") add_text_prompt(datapoint1, "laptop") datapoint2 = create_empty_datapoint() set_image(datapoint2, img2) add_text_prompt(datapoint2, "pot") add_visual_prompt(datapoint2, boxes=[[59, 144, 76, 163]], labels=[True]) # 批量转换与设备迁移 batch = collate([datapoint1, datapoint2], dict_key="dummy")["dummy"] batch = copy_data_to_device(batch, torch.device("cuda")) # 模型前向推理 output = model(batch) processed_results = postprocessor.process_results(output, batch.find_metadatas)

该模式适用于自动化标注流水线、产品图库管理等工业级应用场景，大幅降低人工成本。

4.2 SAM 3 代理：融合大语言模型的智能分割

更进一步，Meta 展示了将 SAM 3 与多语言大模型（MLLM）结合的“代理”范式。通过 LLM 解析复杂自然语言指令并转化为标准提示，再交由 SAM 3 执行分割。

例如，面对查询"the leftmost child wearing blue vest"，LLM 可将其拆解为：

类别：child
属性：wearing blue vest
空间关系：leftmost

然后生成结构化提示传递给 SAM 3，最终实现端到端的语义理解与精确分割。

# 示例代理调用 prompt = "the leftmost child wearing blue vest" output_image_path = run_single_image_inference( image, prompt, llm_config, send_generate_request, call_sam_service, debug=True, output_dir="agent_output" )

这种“LLM + SAM 3”的架构代表了下一代视觉交互系统的方向——用户可以用日常语言自由表达意图，系统则自动完成从理解到执行的全过程。