Flowise多模态探索：结合CLIP节点实现图文混合检索工作流

1. Flowise是什么：让AI工作流变得像搭积木一样简单

Flowise 是一个真正把“复杂变简单”的工具。它不是又一个需要写几十行代码、配一堆环境、调半天参数的AI框架，而是一个开箱即用的可视化工作流平台——你不需要懂 LangChain 的链式调用，也不用研究向量数据库怎么建索引，更不用手动写提示词模板。只要打开网页，拖几个方块，连几根线，就能跑通一个完整的 RAG（检索增强生成）系统。

它的核心价值，就藏在那句被社区反复引用的话里：“45 k Star、MIT 协议、5 分钟搭出 RAG 聊天机器人，本地/云端都能跑。”这不是营销话术，而是成千上万开发者的真实体验。有人用它把公司内部的PDF手册变成可问答的知识库；有人把它嵌进客服后台，让一线员工随时查政策；还有人部署在树莓派上，给家庭智能屏加了个能看图说话的小助手。

为什么它能做到这么轻？因为它把 LangChain 中那些抽象概念——比如 Document Loader、Text Splitter、Embedding Model、Vector Store、LLM、Retriever、Prompt Template——全都封装成了带图标的可视化节点。每个节点就像乐高积木的一块：

你拖一个“PDF Reader”进来，它自动读取文件内容；
接一个“Recursive Character Text Splitter”，它就把长文档切成合适长度的段落；
再连一个“HuggingFace Embeddings”，它就默默把每段文字转成向量；
最后接上“Qdrant Vector Store”，所有向量就存好了，随时待命检索。

整个过程没有一行代码，也没有报错弹窗。你看到的是节点之间的连线，而不是终端里滚动的红色错误日志。

更重要的是，Flowise 不是玩具。它支持条件分支（if-else）、循环、并行执行，能导出标准 REST API，也能嵌入 Vue 或 React 前端。官方 Marketplace 里已有上百个现成模板，从“SQL 查询助手”到“网页爬虫+摘要”，点一下就能复用，改两处配置就能上线。如果你只想快速验证一个想法，docker run flowiseai/flowise就够了；如果要进生产，它也支持 PostgreSQL 持久化、JWT 认证、API Key 管理——MIT 协议意味着，你甚至可以把它集成进自己的 SaaS 产品里，完全不用担心法律风险。

2. 多模态不是未来，是现在：用 CLIP 打通文字和图像的边界

传统 RAG 只处理文字：你输入一个问题，系统从文本知识库里找相似段落，再交给大模型总结回答。但现实世界的信息，从来不只是文字。一张产品截图、一份手写会议笔记、一个设计稿、一段监控画面……这些图像里藏着大量无法用关键词搜索的隐含信息。

这时候，CLIP 就成了关键桥梁。它不是单纯的图像分类模型，也不是纯文本编码器，而是一个“图文对齐”的双塔模型——它把图片和文字都映射到同一个语义空间里。这意味着：

一张“咖啡杯放在木质桌面上”的照片，在向量空间里，会离“原木风办公桌”“手冲咖啡场景”“暖色调静物”这些描述非常近；
而“一只黑猫蹲在窗台上晒太阳”这张图，和“阳光”“窗台”“猫咪”“慵懒”这些词的距离，比和“汽车引擎”“股票K线”要近得多。

Flowise 本身不内置 CLIP，但它开放了自定义节点的能力。我们可以通过添加一个“Custom Node”，把 Hugging Face 上开源的openai/clip-vit-base-patch32模型接入进来，让它承担两个角色：

图像编码器：把用户上传的图片转成向量；
文本编码器：把用户输入的自然语言查询（比如“找一张有蓝天白云的户外照片”）也转成向量。

这样，检索就不再局限于“文字搜文字”，而是变成了“文字搜图”或“图搜图”——也就是真正的图文混合检索。

2.1 为什么选 CLIP，而不是其他多模态模型？

很多人会问：现在不是有 Qwen-VL、LLaVA、Fuyu 这些更强的多模态大模型吗？它们能直接看图说话，为什么还要绕一圈用 CLIP？

答案很实在：稳定、快、小、准。

稳定：CLIP 是冻结权重的编码器，没有生成逻辑，不会胡说八道，输出向量永远可预测；
快：单张图编码只需 100–200ms（CPU）或 20–50ms（GPU），远快于运行一个 7B 参数的视觉语言模型；
小：模型仅 300MB 左右，本地部署毫无压力；
准：在跨模态检索任务上，CLIP 的零样本迁移能力至今仍是标杆——你不用为自己的数据集微调，它天生就懂“狗”和“汪汪叫”是同一件事。

换句话说，CLIP 不是用来“回答问题”的，而是用来“理解意图”的。它帮你把模糊的自然语言查询，精准锚定到图像语义空间里的某个区域。后面要不要接一个 LLM 来生成描述、写标题、做分析，那是下一步的事。而第一步——“找到最相关的图”——CLIP 做得又快又稳。

3. 动手搭建：图文混合检索工作流全实录

下面我们就从零开始，搭建一个真正可用的图文混合检索工作流。整个流程不依赖 OpenAI，全部跑在本地，用的是 vLLM 加速的本地大模型 + CLIP 编码器。你不需要改源码，只需要在 Flowise 界面里完成三步操作。

3.1 准备环境：让 CLIP 和 vLLM 同时就位

首先确认你的机器已安装好基础依赖：

apt update apt install cmake libopenblas-dev -y

然后拉取 Flowise 项目，并构建服务：

cd /app git clone https://github.com/FlowiseAI/Flowise.git cd Flowise # 复制环境配置模板 mv /app/Flowise/packages/server/.env.example /app/Flowise/packages/server/.env # 编辑 .env 文件，添加以下两行（路径按你实际存放位置调整） CLIP_MODEL_PATH=/app/models/clip-vit-base-patch32 VLLM_MODEL_PATH=/app/models/Qwen2-1.5B-Instruct pnpm install pnpm build pnpm start

注意：CLIP_MODEL_PATH指向的是 Hugging Face 模型缓存目录（如~/.cache/huggingface/hub/models--openai--clip-vit-base-patch32），不是.bin文件。vLLM 模型则需提前用vllm.entrypoints.api.server启动好，监听http://localhost:8000。

等服务启动完成（约 2–3 分钟），访问http://localhost:3000，用演示账号登录：

账号：kakajiang@kakajiang.com
密码：KKJiang123

3.2 创建自定义 CLIP 节点：三步封装一个“图文翻译官”

Flowise 允许你通过 JavaScript 编写 Custom Node。我们新建一个名为CLIP Encoder的节点，功能是：

输入：一张图片 Base64 字符串或一段文本字符串；
输出：对应的 512 维向量（Float32Array）。

在 Flowise 管理后台 → “Custom Nodes” → “Create New Node”，粘贴以下代码：

// CLIP Encoder - Custom Node module.exports = { name: "CLIP Encoder", icon: "ImageIcon", category: "Multimodal", description: "Encode image or text into CLIP embedding vector", baseClasses: ["vector"], inputs: [ { label: "Input Type", name: "inputType", type: "options", options: [ { label: "Image (Base64)", value: "image" }, { label: "Text", value: "text" } ], default: "text" }, { label: "Image or Text", name: "input", type: "string", placeholder: "Paste base64 string or plain text" } ], outputs: [ { label: "Embedding Vector", name: "vector", baseClasses: ["vector"] } ], async init(nodeData) { const { inputType, input } = nodeData // 这里调用本地 FastAPI 服务（由 Python 脚本提供） const response = await fetch("http://localhost:8001/encode", { method: "POST", headers: { "Content-Type": "application/json" }, body: JSON.stringify({ type: inputType, data: input }) }) const result = await response.json() return { vector: result.embedding } } }

这个节点本身不加载模型，而是把请求转发给一个轻量 Python 服务（用 FastAPI 写，50 行以内），该服务负责加载 CLIP 模型、预处理、推理并返回向量。这样既保证 Flowise 主进程轻量，又避免了浏览器端加载大模型的卡顿。

3.3 拼装工作流：文字搜图 + 图搜图，双通道自由切换

现在进入画布，我们搭建一个支持两种检索模式的工作流：

节点连接顺序如下：

Start Node（触发入口）→
Switch Node（判断用户输入类型：是文本还是图片）→
- 分支 A（文本）：接CLIP Encoder（inputType=text）→Qdrant Retriever（检索图像向量库）→Image Display（展示结果图）
- 分支 B（图片）：接Image to Base64（自动转码）→CLIP Encoder（inputType=image）→Qdrant Retriever（同库）→Image Display

关键细节：Qdrant 向量库中存的不是原始图片，而是每张图经 CLIP 编码后的 512 维向量。我们用qdrant-client提前把本地图库（比如/images/products/下的 500 张商品图）批量编码入库，每条记录附带filename和caption字段，方便后续召回。