多彩编程 多彩编程MZPH · CODE BLOG
ARTICLE DETAIL

文章详情

深耕前端与后端开发技术的一线实战笔记与踩坑复盘。

Qwen3-VL-8B 在华为 Atlas 300I Duo(Kylin V10 aarch64)

Qwen3-VL-8B 在华为 Atlas 300I Duo(Kylin V10 aarch64) 一、环境信息项目内容服务器架构aarch64(华为 Kunpeng-920)操作系统Kylin Linux Advanced Server V10 (Halberd)NPU 型号华为 Atlas 300I Duo(Ascend 310P3)单卡显存约 44 GBCANN 版本9.1.0Docker 镜像quay.io/ascend/vllm-ascend:v0.18.0-310p-openeuler模型Qwen/Qwen3-VL-8B-Instruct推理框架vLLM-Ascend 0.18.0二、部署前检查1. 确认 CANN 环境source/usr/local/Ascend/cann/set_env.sh python3-c"import acl;print(acl.get_soc_name())"# 预期输出:Ascend310P3cat/usr/local/Ascend/cann/$(uname-m)-linux/ascend_{*cann,toolkit}_install.info2/dev/null|grep^version# 预期输出:version=9.1.02. 确认 NPU 设备npu-smi info# 应能看到 4 张 310P3 卡,状态 OK3. 确认 Docker 镜像架构与版本dockerinspect quay.io/ascend/vllm-ascend:v0.18.0-310p-openeuler|grep-iarchitecture# 预期: "Architecture": "arm64"dockerrun--rmquay.io/ascend/vllm-ascend:v0.18.0-310p-openeuler pip show vllm-ascend vllm2/dev/null|
返回列表