autodl 上PaddleOCR-VL 部署(2026年1月22日亲测可用)

会话管理命令(推荐使用 screen 或 tmux 后台运行)
功能 screen 命令 tmux 命令
新建命名会话 screen -S 名字 tmux new -s 名字
列出所有会话 screen -ls tmux ls
重新连接会话 screen -r 名字 tmux attach -t 名字
detach(后台运行) Ctrl+A → D Ctrl+B → D
退出并关闭会话 exit 或 Ctrl+D exit 或 Ctrl+D

conda create -n paddleocr-vlpython=3.11.13# 构建一个虚拟环境,名为:tfconda initbash&&source/root/.bashrc# 更新bashrc中的环境变量conda activate paddleocr-vl

从百度云pipy 安装 pip install paddlepaddle-gpu==3.2.0

pipinstallpaddlepaddle-gpu==3.2.0 -i https://www.paddlepaddle.org.cn/packages/stable/cu126/#wget http://qiniu.dywlkj.com/paddleocr-vl/paddlepaddle_gpu-3.2.0-cp311-cp311-linux_x86_64.whl

推荐操作步骤

  1. 下载所有离线包到指定目录
    这个命令会解析 paddleocr[doc-parser] 的所有依赖,并将它们的 .whl 文件下载到 paddle_install_offline_wheels 文件夹中。

Bash

pip download"paddleocr[doc-parser]"\--no-cache-dir\-d ./paddle_install_offline_wheels\-v2>&1|teepaddle_download.log

参数解释:

-d ./paddle_install_offline_wheels: 指定下载目录。如果文件夹不存在,pip 会自动创建。

–no-cache-dir: 强制从网络下载,不使用本地已有的缓存包。

-v: 详细模式,记录每个包的来源和下载过程。

  1. (可选) 从该目录进行离线安装
    一旦你下载了所有 .whl 文件,以后在没有网络的环境下,你可以通过以下命令安装:
pipinstall--no-index --find-links=./paddle_install_offline_wheels"paddleocr[doc-parser]"

Install vLLM server dependencies (for production deployment)

torch==2.8.0 pip show torch Name: torch Version:2.8.0 Summary: Tensors and Dynamic neural networksinPython with strong GPU acceleration Home-page: https://pytorch.org/ Author: PyTorch Team Author-email: packages@pytorch.org License: BSD-3-Clause Location: /root/miniconda3/envs/paddleocr-vl/lib/python3.11/site-packages Requires: filelock, fsspec, jinja2, networkx, nvidia-cublas-cu12, nvidia-cuda-cupti-cu12, nvidia-cuda-nvrtc-cu12, nvidia-cuda-runtime-cu12, nvidia-cudnn-cu12, nvidia-cufft-cu12, nvidia-cufile-cu12, nvidia-curand-cu12, nvidia-cusolver-cu12, nvidia-cusparse-cu12, nvidia-cusparselt-cu12, nvidia-nccl-cu12, nvidia-nvjitlink-cu12, nvidia-nvtx-cu12, sympy, triton, typing-extensions Required-by: compressed-tensors, flash_attn, torchaudio, torchvision, vllm, xformers, xgrammarwgethttp://qiniu.dywlkj.com/paddleocr-vl/flash_attn-2.7.3%2Bcu12torch2.8cxx11abiFALSE-cp311-cp311-linux_x86_64.whl pipinstall\./flash_attn-2.7.3+cu12torch2.8cxx11abiFALSE-cp311-cp311-linux_x86_64.whl\--no-deps\--no-build-isolation# Install vLLM server dependencies (for production deployment)paddleocr install_genai_server_deps vllm
python -c"import torch; \ print(f'Torch version: {torch.__version__}'); \ print(f'CUDA available: {torch.cuda.is_available()}'); \ print(f'CUDA version used by Torch: {torch.version.cuda}'); \ print(f'Supported Architectures: {torch.cuda.get_arch_list()}'); \ print(f'Current GPU: {torch.cuda.get_device_name(0) if torch.cuda.is_available() else\"None\"}')"Torch version:2.8.0+cu128 CUDA available: True CUDA version used by Torch:12.8Supported Architectures:['sm_70','sm_75','sm_80','sm_86','sm_90','sm_100','sm_120']Current GPU: NVIDIA GeForce RTX4090

六、安装后立刻验证(必须做)

python-<<'EOF'importflash_attn,torchprint("flash_attn:",flash_attn.__file__)print("torch:",torch.__version__)print("cuda:",torch.version.cuda)print("cuda available:",torch.cuda.is_available())EOF flash_attn:/root/miniconda3/envs/paddleocr-vl/lib/python3.11/site-packages/flash_attn/__init__.py torch:2.8.0+cu128 cuda:12.8cuda available:True

python modelscope_PaddleOCR-VL.py

frommodelscopeimportsnapshot_download MODEL_NAME="PaddlePaddle/PaddleOCR-VL"MODEL_ID="PaddleOCR-VL"SAVE_DIR=f"/root/autodl-tmp/models/{MODEL_ID}"if__name__=="__main__":print(f"正在从 ModelScope 下载模型:{MODEL_NAME}")print(f"保存目录:{SAVE_DIR}")print("-"*50)model_dir=snapshot_download(MODEL_NAME,cache_dir=SAVE_DIR,revision="master",)print("-"*50)print(f"模型下载完成!")print(f"模型路径:{model_dir}")

exportDISABLE_MODEL_SOURCE_CHECK=TrueexportVLLM_USE_PRECOMPILED=1paddlex_genai_server\--model_name PaddleOCR-VL-0.9B\--model_dir /root/autodl-tmp/models/PaddleOCR-VL/PaddlePaddle/PaddleOCR-VL\--backend vllm\--host0.0.0.0\--port8118

核心操作:安装 Serving 依赖
首先,确保 Serving 插件及其依赖已安装(同样建议记录日志):

Bash

paddlex --install serving -v 2>&1 | tee install_serving.log

paddlex\--get_pipeline_config PaddleOCR-VL\--save_path ./pipelines

执行后你会看到:

pipelines/ └── PaddleOCR-VL.yaml

这一步 不需要联网成功,只要 PaddleX 包本身在。

改成

paddlex --serve\--pipeline ./pipelines/PaddleOCR-VL.yaml\--host0.0.0.0\--port10800\--paddle_model_dir /root/autodl-tmp

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/1201826.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【毕业设计】基于springboot的日报管理系统设计与实现(源码+文档+远程调试,全bao定制等)

博主介绍&#xff1a;✌️码农一枚 &#xff0c;专注于大学生项目实战开发、讲解和毕业&#x1f6a2;文撰写修改等。全栈领域优质创作者&#xff0c;博客之星、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java、小程序技术领域和毕业项目实战 ✌️技术范围&#xff1a;&am…

欧洲百年品牌瀚德凯尔:专注座椅电梯,提升老年人生活质量

View Post欧洲百年品牌瀚德凯尔:专注座椅电梯,提升老年人生活质量瀚德凯尔是Savaria Group(萨瓦瑞亚集团)旗下品牌,专注于无障碍通行设备领域,品牌自1886年创立以来,始终专注于为老年人与行动不便人士提供安全、便…

Java毕设项目:基于springboot的民宿客房管理系统(源码+文档,讲解、调试运行,定制等)

博主介绍&#xff1a;✌️码农一枚 &#xff0c;专注于大学生项目实战开发、讲解和毕业&#x1f6a2;文撰写修改等。全栈领域优质创作者&#xff0c;博客之星、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java、小程序技术领域和毕业项目实战 ✌️技术范围&#xff1a;&am…

第七章 服务拆分与边界定义

第七章 服务拆分与边界定义 服务拆分是微服务架构中最具挑战性的任务,也是最容易犯错的地方。我见过太多团队把微服务做成了"分布式单体",服务之间耦合严重,部署和运维复杂度急剧上升。这一章,我想分享一…

【计算机毕业设计案例】基于springboot的民宿房间预约管理系统设计与实现民宿客房管理系统(程序+文档+讲解+定制)

博主介绍&#xff1a;✌️码农一枚 &#xff0c;专注于大学生项目实战开发、讲解和毕业&#x1f6a2;文撰写修改等。全栈领域优质创作者&#xff0c;博客之星、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java、小程序技术领域和毕业项目实战 ✌️技术范围&#xff1a;&am…

【毕业设计】基于springboot的民宿客房管理系统(源码+文档+远程调试,全bao定制等)

博主介绍&#xff1a;✌️码农一枚 &#xff0c;专注于大学生项目实战开发、讲解和毕业&#x1f6a2;文撰写修改等。全栈领域优质创作者&#xff0c;博客之星、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java、小程序技术领域和毕业项目实战 ✌️技术范围&#xff1a;&am…

C++大模型SDK开发实录(三):流式交互协议SSE解析与httplib实现原理

目录 前言第一章&#xff1a;即时通信的基石——SSE协议解析1.1 为什么选择SSE&#xff1f;1.2 SSE数据格式 第二章&#xff1a;协议选型——SSE vs WebSocket2.1 轮询与WebSocket的局限2.2 技术特性对比 第三章&#xff1a;cpp-httplib的流式处理机制3.1 普通响应与流式响应的…

算法围猎下的App渠道归因如何去伪存真?

为什么你的精准广告&#xff0c;总能避开所有真客户&#xff1f; 这是一个让无数营销人深感挫败的“数字化悖论”。近日&#xff0c;行业资深观察者“老泡”的一篇深度述评引发了移动营销圈的强烈共鸣。文章指出&#xff0c;当品牌方沉溺于由算法编织的完美投流报表——百分百匹…

【课程设计/毕业设计】java基于springboot的民宿预约管理平台系统基于springboot的民宿客房管理系统【附源码、数据库、万字文档】

博主介绍&#xff1a;✌️码农一枚 &#xff0c;专注于大学生项目实战开发、讲解和毕业&#x1f6a2;文撰写修改等。全栈领域优质创作者&#xff0c;博客之星、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java、小程序技术领域和毕业项目实战 ✌️技术范围&#xff1a;&am…

我花6千块考下PMP一年后,聊聊它到底值不值

一、给想靠PMP涨薪的普通人&#xff1a;这3千值不值&#xff1f; 先上结论&#xff1a;别急着交钱&#xff0c;PMP对某些人是跳板&#xff0c;对另一些人可能就是“纸”。 去年我考下PMP&#xff0c;花了6K元&#xff08;培训2200考试费3900元&#xff09;&#xff0c;不算3个…

系统规划与管理师必看:2026年监控工具选型与实施指南

一、监控工具定义与核心内容 监控工具是用于实时采集、分析、展示和预警信息系统运行状态的技术手段&#xff0c;其核心目标是确保系统稳定性、性能达标及资源高效利用。在当今数字化快速发展的时代&#xff0c;信息系统已成为企业运营的核心支撑&#xff0c;一旦出现故障或性…

VL22 根据状态转移图达成时序电路

pre { white-space: pre !important; word-wrap: normal !important; overflow-x: auto !important; display: block !important; font-family: "Consolas", "Monaco", "Courier New", …

151. 反转字符串中的单词-day08

题目:151. 反转字符串中的单词 题目链接:https://leetcode.cn/problems/reverse-words-in-a-string/description/ 思路:1. 去除字符串的首尾空格,中间保留一个空格 2. 整个字符串全部反转 3. 根据空格,反转字符串…

学习进度 6

今天重点搞懂了昨天没明白的 Padding 和 Stride,Padding 就是在图像边缘补像素,防止卷积后特征图变小、边缘特征丢失,Stride 就是卷积核滑动的步长,步长设大一点特征图会更小,计算更快,试了下把步长从 1 改成 2,…

基于深度学习的苹果检测系统演示与介绍(YOLOv12/v11/v8/v5模型+Pyqt5界面+训练代码+数据集)

本文介绍了一套基于YOLO系列算法的苹果检测系统,该系统支持图片、视频和实时摄像头检测,具备多模型切换、结果可视化与统计等功能。系统采用Python3.10开发,前端使用PyQt5,数据库为SQLite,支持YOLOv5/v8/v11/v12等…

人群仿真软件:Pathfinder_(9).用户界面与工具栏详解

用户界面与工具栏详解 1. 用户界面概述 用户界面&#xff08;User Interface, UI&#xff09;是人群仿真软件Pathfinder的核心部分之一。它不仅提供了用户与软件交互的窗口&#xff0c;还决定了用户操作的便捷性和直观性。Pathfinder的用户界面主要由以下几个部分组成&#xff…

腾讯云的EdgeOne部署

blog 前端网站&#xff08;https://gzyblog.guoziyang.com&#xff09;已链接到 public 仓库 该项目使用 Github App 管理项目内容&#xff0c;请保管好后续创建的 Private key&#xff0c;不要上传到公开网上。 1. 克隆项目 开源项目地址&#xff1a;https://github.com/YYs…

什么是二维批量归一化操作,如何使用BatchNorm2d层

什么是二维批量归一化操作,如何使用BatchNorm2d层在模型训练前,一般会对输入数据进行归一化处理,将数据中不同尺度的特征,转换为相同的尺度。从而提升模型的泛化能力,加速模型训练,并防止梯度爆炸等问题。 对于神…

【个人随笔】我的第一篇博客

博客名:gild注册时间:2019 年 7 月 12 日今天:2026 年 1 月 22 日距离第一次登录,已过去 2385 天。一、一个沉寂的名字 “gild” 这个名字,取自英文动词 to gild —— “镀金”,意为给某物表面覆上一层金,使其看…

人群仿真软件:Pathfinder_(5).人群行为设置

人群行为设置 在使用Pathfinder进行人群仿真时&#xff0c;人群行为的设置是关键的一环。人群行为设置决定了仿真过程中个体的行为模式、决策过程以及相互之间的互动。本节将详细介绍如何在Pathfinder中设置人群行为&#xff0c;包括基本行为参数、行为策略、行为触发条件以及…