蓝易云｜Crawlab 通过 Docker 单节点部署并跑通一个“最小可用”爬虫（SND）🚀
Crawlab 的 **单节点部署（Standalone-Node Deployment, SND）**本质是把Master 节点 + MongoDB放在同一台机器上，用于演示或小规模任务管理；官方给出的 docker-compose 模板就是这个思路。(docs.crawlab.cn)
同时，Crawlab当前仅支持 MongoDB作为数据存储（别想着“顺手换成别的库”，那是给自己挖坑）。(docs-v05.crawlab.cn)
1）部署前准备：先把“持久化与权限”打牢 ✅
mkdir -p /opt/.crawlab/master /opt/crawlab/master /var/crawlab/log /opt/crawlab/mongo/data/db解释：
这一步是在主机上创建数据持久化目录，避免容器重启后配置/数据/日志丢失。(docs.crawlab.cn)
同时也能规避部分环境下因日志目录不存在导致的异常重启问题（实践上非常常见）。
2）docker-compose.yml：一份可直接落地的单节点配置 🧩
在任意目录新建
docker-compose.yml，写入以下内容（核心字段已用注释标注）。
version: "3.3" services: master: image: crawlabteam/crawlab container_name: crawlab_master restart: always environment: CRAWLAB_NODE_MASTER: "Y" # <span style="color:#e53935;font-weight:700;">Y=主节点</span> CRAWLAB_MONGO_HOST: "mongo" # 直接用 compose service 名称 CRAWLAB_MONGO_PORT: "27017" CRAWLAB_MONGO_DB: "crawlab" CRAWLAB_MONGO_USERNAME: "username" # 建议改成你自己的 CRAWLAB_MONGO_PASSWORD: "password" # 建议改成强密码 CRAWLAB_MONGO_AUTHSOURCE: "admin" volumes: - "/opt/.crawlab/master:/root/.crawlab" - "/opt/crawlab/master:/data" - "/var/crawlab/log:/var/log/crawlab" ports: - "8080:8080" depends_on: - mongo mongo: image: mongo:4.2 restart: always environment: MONGO_INITDB_ROOT_USERNAME: "username" MONGO_INITDB_ROOT_PASSWORD: "password" volumes: - "/opt/crawlab/mongo/data/db:/data/db" ports: - "27017:27017"解释：
CRAWLAB_NODE_MASTER：决定该容器是否作为控制中枢（单节点就必须是Y）。(docs.crawlab.cn)CRAWLAB_MONGO_*：告诉 Crawlab 去哪里连 MongoDB（SND 模式下就是同网络的mongo服务）。(docs.crawlab.cn)volumes：把元数据、任务数据、日志落盘；没有持久化，等于“系统每次重启都失忆”。(docs.crawlab.cn)mongo:4.2：这是官方示例镜像版本。若用于生产，请你在内网标准里选用“已评估兼容性且仍在维护的 MongoDB 主版本”，不要拍脑袋升级。(docs.crawlab.cn)
3）启动与验收：让系统进入“可运营状态” 🟢
docker compose up -d解释：
up -d：后台启动整个服务栈（Master + MongoDB）。如果你的环境还在用旧命令，也可能是
docker-compose up -d（本质一致）。
docker ps解释：
确认
crawlab_master与mongo都是Up状态；这是最基本的交付验收点。
4）登录控制台：默认账号必须立刻改 🔐
Crawlab 初始化后会创建默认管理员：用户名/密码均为admin。(docs.crawlab.cn)
上线前务必把admin/admin改掉，否则这不是“爬虫平台”，是“来者都能进的展厅”。
5）跑通一个“简单爬虫”：最小闭环（抓取 → 输出日志）🕷️
5.1 准备爬虫文件
创建目录simple_spider/，放一个main.py：
import requests def run(): r = requests.get("https://httpbin.org/get", timeout=15) print("status=", r.status_code) print("json=", r.json()) if __name__ == "__main__": run()解释：
用
requests.get拉一个公共测试接口，目标是验证：容器网络、依赖、任务执行链路都正常。print输出会进入任务日志，适合做“最小闭环验收”。
5.2 在 Crawlab 创建 Spider 并运行
在控制台：Spiders → New Spider
Command 填：
python3 main.py上传：把
simple_spider打成 zip 上传点击 Run 执行
解释：
这套流程的价值是：不纠结框架，先把 **交付链路**跑通（创建/上传/执行/看日志）。
真要落业务，再考虑 Scrapy、数据入库结构、定时、告警等“运营级能力”。
6）原理说明表：你部署的到底是什么 🧾
| 组件 | 角色定位 | 关键端口 | 关键价值 |
|---|---|---|---|
crawlab_master | 控制面（任务编排/日志/管理台） | 8080 | 统一管理与可视化运营 |
mongo | 数据面（元数据/任务数据） | 27017 | 任务状态与平台数据存储 |
| volumes | 持久化层 | - | 防止重启丢数据、便于审计 |
7）合规与稳定性底线（务实建议）🧠
只采集你有权限的数据；尊重站点规则与访问频率，默认加限速/重试/超时。
单节点适合小规模；当任务量、并发、稳定性要求上来，就要规划多节点与外置数据库（别等到“跑不动了”才补架构）。
如果你下一步要把“简单爬虫”升级为“可沉淀数据的业务爬虫”（写入 Mongo 并在任务详情展示结构化结果），我可以按你目标字段给出一份可直接上传的 zip 目录结构 + 入库代码模板，把闭环做成“可复制的标准件”。
