网站中的横幅怎么做,东莞网络推广案例,网络推广平台几大类,手工建站与模板网站的区别想尝试这个FastSam的部署#xff0c;但至今还没跑通#xff0c;一个问题能带出一片问题#xff0c;感觉挺心情挺郁闷的。后来和学长交流的时候#xff0c;说那就是学少了#xff0c;没必要急着将跑通它作为目的。也很有道理#xff0c;这个任务还不太适合我当前的水平但至今还没跑通一个问题能带出一片问题感觉挺心情挺郁闷的。后来和学长交流的时候说那就是学少了没必要急着将跑通它作为目的。也很有道理这个任务还不太适合我当前的水平我决定先晾一晾它。 有时候心情陷入低迷了也挺需要一些外在力量的帮助与干预拉上我一把。 文章目录 一、FastSam下载与体验1 问题记录小问题合集 2 知识记录pip导出requirements.txt 二、FastSam部署1 了解模型的部署流程-onnx2 尝试使用openvino部署 三、FastSam了解与学习1 FastSam论文解读2 Sam相关项目3 Sam论文解读4 FastSam Sam MobileSam5 YOLACT 一、FastSam下载与体验 1 问题记录 似乎从网页上下载压缩包会比使用git clone要方便很多。 1 CLIP是什么 参考openai clip安装 - 知乎 (zhihu.com) 2 运行带提示词的指令时突然就开始下载什么东西它下载到哪儿啦 (fastsam) PS D:\code_all\gitCode\FastSAM-main python Inference.py --model_path ./weights/FastSAM.pt --img_path ./images/dogs.jpg --text_prompt the yellow dog0: 576x1024 21 objects, 3532.2ms Speed: 14.6ms preprocess, 3532.2ms inference, 85.6ms postprocess per image at shape (1, 3, 1024, 1024)22%|████████▍ | 75.3M/338M [00:3203:59, 1.15MiB/s]我使用everything工具通过文件创建时间排序找到了如下文件路径这个文件有300MB作用。.cache目录下还有名为paddle的文件夹。 C:\Users\ThinkPad\.cache\clip\ViT-B-32.pt3 点提示词的指令效果是什么 补原来这里也是给黄狗加了mask掩码的原图中黄狗是明亮的色彩下图中给它套了一层灰色。下图中点提示*应该左蓝点表示前景右紫点表示背景。* 4 运行segment.py时报错了 prompt_process.plot(annotationsann,output./output/,mask_random_colorTrue,better_qualityTrue,retinaFalse,withContoursTrue, )查看plot()方法的文档中并没有output参数。 (method) plot(annotations: Any, output_path: Any, bboxes: Any | None None, points: Any | None None, point_label: Any | None None, mask_random_color: bool True, better_quality: bool True, retina: bool False, withContours: bool True) - None改成output_path后出现另一个报错 File d:\code_all\gitCode\FastSAM-main\fastsam\prompt.py, line 219, in plotcv2.imwrite(output_path, result) cv2.error: OpenCV(4.8.1) D:\a\opencv-python\opencv-python\opencv\modules\imgcodecs\src\loadsave.cpp:696: error: (-2:Unspecified error) could not find a writer for the specified extension in function cv::imwrite_然后又修改output_path参数的值指定了文件名后成功。 output_path./output/dogs_2.jpg,参考已解决could not find a writer for the specified extension in function ‘cv‘-CSDN博客 5 从这张图的效果看有点像只是从图片中寻找边缘而已 6 运行app_gradio.py出问题。 不知道是出什么状况了运行之后的页面可以打开但无法成功在上面进行图片分割。 Running on local URL: http://127.0.0.1:7860 To create a public link, set shareTrue in launch(). ERROR: Exception in ASGI application ......File D:\anaconda\envs\FastSAM\lib\site-packages\gradio\blocks.py, line 518, in get_api_infoserializer serializing.COMPONENT_MAPPING[type]() KeyError: dataset小问题合集 开梯子时conda会报错比如此时使用conda create -n 名字 python3.9。cpu下推理得很慢大概需要6秒。不能读取中文文件名的图片。似乎由于图片尺寸问题有的图片运行后不报错也不产生输出。clip模型与fast-sam之间是怎么一种关系点提示词的使用 2 知识记录 pip导出requirements.txt pip freeze requirements.txt #可能会丢失依赖包的版本号 pip list --formatfreeze requirements.txt二、FastSam部署 1 了解模型的部署流程-onnx 模型部署指让训练好的模型在特定环境中运行的过程。两个需求 模型通常使用特定的深度学习框架编写以及需要一些特定的依赖。它们在实际的运行环境中可能不便于安装需要脱离这些依赖。加速。 小知识模型部署时通常把模型转换成静态的计算图即没有控制流如分支结构的计算图。可用追踪导出的方法。 参考✔ 模型部署入门教程一模型部署简介 - 知乎 (zhihu.com) 1 尝试超分辨率模型SRCNN 期间下载示例的利用requests库下载face.png图片还报错了但其实我现在不必太关注这个问题。 好像原始文件大一些就会一直卡着出不了结果输入从30kb到50kb速度就慢了好多倍。感觉模型的效果不太行该糊还是糊。不过体验这个模型本就不是我的目的我只是想走一下部署的流程而已。 好像放大倍数小一些比如2反而比放大3倍、6倍的效果更好。放大倍数设置为2下面右图为模型输入左图为输出 2 尝试使用openvino部署 参考文档1FastSAM Awsome Openvino 2入门 — OpenVINO™ documentation — Version(2023.0) 我电脑中FastSam虚拟环境是直接安装的官方requirements.txtcpu版本。我在其中再次安装了openvino的开发环境。 pip install openvino-dev“ultralytics是为 YOLO 模型发布了一个全新的存储库。它被构建为用于训练对象检测、实例分割和图像分类模型的统一框架”在fastsam awsome openvino的模型转换代码中也用到了它。 问题from ultralytics.utils import ...报错但pip install ultralytics又显示satisfied。我只好卸掉重装。 (FastSAM) PS D:\code_all\gitCode\FastSAM_Awsome_Openvino-main pip install ultralytics Looking in indexes: https://pypi.tuna.tsinghua.edu.cn/simple Requirement already satisfied: ultralytics in d:\anaconda\envs\fastsam\lib\site-packages (8.0.120)模型转换流程pt -- onnx -- ir # 1 pt -- onnx python pt2onnx.py --weights models/FastSAM-s.pt --output clf/FastSAM-s.onnx # 2 onnx -- ir生成两个文件~.xml和~.bin mo --input_model clf/FastSAM-s.onnx --output_dir clf/ --framework onnx # 3 运行转换后的模型 cd src/python python FastSAM.py --model_path ../../clf/FastSAM-s.onnx --img_path ../../images/coco.jpg --output ../../clf/我用它给的.pt模型转出来后推理时遇到了一个错误 ValueError: get_shape was called on a descriptor::Tensor with dynamic shape如果我将pt2onnx.py中的torch.onnx.export()中的dynamic_axes参数去掉得到一个静态输入的onnx模型推理时又遇到了另一个错误 RuntimeError: mat1 and mat2 shapes cannot be multiplied (100x32 and 65x6400)小结总之尝试失败。感觉对于整个模型从转换到运行的过程缺乏了一些认知以至于感觉像在玩弄一个黑盒子。花时间搜索bug、调来调去但整个人一直处于比较懵的状态。严重缺少前置知识感觉就像在浪费生命。 当前问题 不懂openvino及其部署流程以及相关的各种概念及其影响。如静态、动态输入。不懂fast-sam的模型结构细节。模型部署并不是转一下模型结构就完了推理也要有相应的推理代码包括输入前处理(preprocess)输出后处理(postprocess)但我不懂这些处理是在干嘛为什么要这样写那么出了问题自然懵圈。 三、FastSam了解与学习 其它参考 原论文pdfSegment Anything(sam)项目整理汇总 相关 fastsam的Web在线体验 1 FastSam论文解读 阅读中科院自动化所发布Fast SAM | 精度相当速度提升50倍 - 知乎 (zhihu.com) 名词 常规的cnn检测器实例分割分支人工先验结构segment anything领域端到端的Transformer方法特征融合模块形态学操作文本提示的图像嵌入AR召回率AUCzero-shot零样本YOLACT方法 摘句 这种计算开销主要来自于处理高分辨率输入的Transformer架构。SAM架构的主要部分TransformerViT本文将segment anything任务分解为两个连续的阶段即全实例分割和提示引导选择。对于特定任务来说特定的模型仍然可以利用优势来获得更好的效率-准确性平衡。先使用YOLOv8-seg 对图像中的所有对象或区域进行分割。YOLOv8的主干网络和特征融合模块neck module将YOLOv5的C3模块替换为C2f模块。更新后的头部模块采用解耦结构将分类和检测分开。在FastSAM中本文直接使用YOLOv8-seg方法进行全实例分割阶段。FastSAM的运行速度与提示数量无关在COCO的所有类别上与无需学习的方法进行比较。相比SAMFastSAM在大对象的狭窄区域上可以生成更精细的分割掩码。FastSAM在生成框上具有明显的优势但其掩码生成性能低于SAM局限性1低质量的小尺寸分割掩码具有较高的置信度分数。2一些微小尺寸对象的掩码倾向于接近正方形。FastSAM还存在一些可以改进的弱点例如评分机制和实例掩码生成范式。 草记 提示引导选择1点提示通过设置前景点、背景点来对掩码进行选择。2框提示通过与第一阶段中边界框进行iou交并比匹配。3文本提示通过CLIP模型提取文本的相应嵌入然后 根据相似度度量选择掩码。 疑惑 可是我下载的fastsam模型大小为138mb我不会下错了吧 2 Sam相关项目 阅读Segment Anything(sam)项目整理汇总 新鲜名词点云分割 有趣的项目 Grounded-Segment-Anything包含图像编辑此外还有其它不少东西。 Personalize-SAM仅给定一张带有参考mask的图像PerSAM 无需任何训练即可在其他图像或视频中分割特定的目标例如您的宠物狗。也提供了微调但是只训练了2个参数。 Inpaint-Anything图像编辑包含移除目标填充目标替换目标等。 EditAnything重新生成图像中的一部分。 小结文章各种项目挺多的不过好些都有些相似。包括对SAM模型的微调与场景移植与视频处理结合与文字提示结合如CLIP3d以及一些相关的部署优化项目。此外还有辅助标注工具。 3 Sam论文解读 阅读【论文解读】MetaAi SAM(Segment Anything) 分割一切 Sam模型的输出是无标记的纯掩码。 名词prompt engineeringembeddingtokkennms 摘句 在网络数据集上预训练的大语言模型具有强大的zero-shot(零样本)和few-shot(少样本)的泛化能力这些基础模型可以推广到超出训练过程中的任务和数据分布这种能力通过“prompt engineering”实现比如CLIP和ALIGN利用对比学习将文本和图像编码进行了对齐通过提示语生成image encoder就可以扩展到下游任务论文的目的是建立一个图像分割的基础模型开发一个具有提示能力的模型。先标注数据进行训练模型然后用模型辅助标注数据如此建立一个数据循环。训练时模拟交互分割的过程从目标mask中随机选取前景点或者box点是从gt mask选取box增加长边10%的噪声最大20像素。在第一次prompt预测mask之后后续是从预测mask和gt mask有差异的区域采样点mask 用focal loss和dice loss进行线性组合系数(20:1)iou 用mse loss。 小结感觉好像看了很多东西但如果让我回忆一下我脑子里面好像又没有什么东西。文中陌生的东西太多了很多我都没什么概念可能也就无法将它们联系起来而在我脑海里面生成一个整体的图景。 4 FastSam Sam MobileSam 阅读1【Paper日记】FastSAM vs. MobileSAM vs. SAM 2【SAM】SAM Fast SAM Mobile SAM 名词ViT-Hfreeze解码器知识蒸馏对象提议object-level 摘句 FS虽然里面有SAM但其实本质上并不是在SAM上进行优化架构而是选择了一条完全不同的道路——采用带有实例分割分支的CNN网络。一方面按原始SAM的训练方法来训练一个新的SAM模型极不划算另一方由于图像编码器和分割掩码解码器之间的耦合优化很难复现甚至改进FAIR他们的成果。MS指出FS的工作achieved superior performance而MS比FS的模型小7倍速度快4倍且mIoU远高于FS。FastSAM经常无法预测一些对象此外有时很难解释掩模提议其次FastSAM经常生成具有非平滑边界的掩模。虽然说FastSAM中带SAM但其实已经和SAM的工作没有太大关系了个人感觉是聚焦于Segment Anythin Task用传统CNN的架构去解决大模型在实际应用中遇到的问题。而MobileSAM是基于SAM的架构提出了轻量化版本 sam模型是 promptable包括 point, bbox, masks, textsam训练过程中不使用任何数据增强fastsam的text-prompt效果差个人分析原因为CLIP 训练是 4 亿图文对特征对齐的训练而并不是 object-level 与文本的对齐使用分割数据训练好的 YOLOv8-seg 的图像特征直接与 CLIP 对应的文本特征进行强对齐没经过训练由于分割数据和训练 CLIP 的图像数据没有半毛钱关系所以 mask 的特征与文本特征很难对齐从而 text prompt 的方式效果很差是可以想通的。其实这一点是我一直想吐槽的一直感觉将 CLIP 作为打通图文多模态的一个桥梁多少是有点牵强的。 摘图 Sam FastSam 小结脑子里还是比较模糊fastsam和sam的区别。 文2中有些东西说得更加细致、丰富一些但用的英文词比较多比如object-level。 5 YOLACT 阅读1【实例分割】YOLACT: Real-time Instance Segmentation FastSam对于 all-instance segmentation阶段网络结构基于YOLOv8-segYOLOv8 YOLACT YOLACTYou Only Look At CoefficienTs. 2【经典论文解读】YOLACT 实例分割YOLOv5、YOLOv8实例分割的基础 这篇文章解释得要更清楚、细致些。 名词FCNanchorNMS又看见它protonetFPN特征金字塔 摘句 mask 模板产生的分支protonet针对每幅图像预测 k 个模板mask用FCN的方式来实现protonetFCN最后一层有 k 个channel每个channel对应一个模板。 小结文中说模型分为两个并行的过程1产生一系列模板mask该mask是不基于任何一个实例的而是基于整张输入图片的2预测对于每个实例mask的系数。之后将模板mask和实例mask系数进行线性组合来获得实例的mask。 可是看了后面的解释我还是没有懂文中的**”预测mask的系数“和”线性组合“**具体是在干嘛。 将实例分割任务划分为两个并行任务目标检测Detect、实例分割mask 是并行计算的这样设计的网络是单阶段的适合YOLO系列速度快比如在一张街道场景的图片图中有行人、车辆、建筑物、树木等当检测分支框中的是行人那么行人相关的mask原型图置信度高头、身体、手、脚、随身物品等的位置、轮廓、编码位置敏感的方向等原型图其它的类别mask原型图置信度低这样组合形成实例分割的结果。在 prototype 空间某些 prototypes 对图片空间分块某些 prototypes 定位实例······ 不懂这些分工与组合是怎样产生的 没写完的草稿