网上资料很多
AI爬虫黑科技 firecrawl本地部署-CSDN博客
源码部署
前提条件本地安装py,node.js环境,嫌弃麻烦直接使用第二种
使用git或下载压缩包
git clone https://github.com/mendableai/firecrawl.git
设置环境参数
cd /firecrawl/apps/api
复制环境参数
copy .env.example .env
修改配置
redis本地需要安装7.0以上的版本,不然最新函数不支持
下载地址
Release Redis 7.0.8 for Windows · redis-windows/redis-windows · GitHub
先启动工作进程
pnpm run workers
后启动主进程
pnpm run start
写了一建启动的脚本
写了两个启动bat,
@echo off
setlocal enabledelayedexpansion
:: 正确传递环境变量到子进程
cmd /c "set HOST=0.0.0.0&&set USE_DB_AUTHENTICATION=false&&powershell -NoExit -Command ^& { [Console]::OutputEncoding = [System.Text.Encoding]::UTF8; Set-Location 'F:\Firecrawl\firecrawl\apps\api'; Write-Host 'HOST=' $env:HOST; pnpm run workers }"
@echo off
setlocal enabledelayedexpansion
:: 正确传递环境变量到子进程
cmd /c "set HOST=0.0.0.0&&set USE_DB_AUTHENTICATION=false&&powershell -NoExit -Command ^& { [Console]::OutputEncoding = [System.Text.Encoding]::UTF8; Set-Location 'F:\Firecrawl\firecrawl\apps\api'; Write-Host 'HOST=' $env:HOST; Write-Host 'USE_DB_AUTHENTICATION=' $env:USE_DB_AUTHENTICATION; pnpm run start }"
访问本地ip或者localhost/127.0.0.1都可以。我接入dify,就用ip,不然接入不了
http://192.168.15.23:3002/
访问本地部署的dify接入firecrawl
输入之前的key和firecrawl的访问路径接入成功
测试爬链接
本地源码部署有个问题,链接不是每次都成功,会报SUPABASE客户端没有初始化,去githup搜索了问题,表示目前起步阶段,无解,使用第二种方式安装就没问题
第二种自托管
全部交由docker管理,这种就不截图了,网址资料很多,注意自托盘要占用c盘10多个G的存储,另外下载相关依赖包需要时间很长,有个代理的包,需要修改docker的地址,安装教程来就是