AutoGLM-Phone-9B性能评测：不同框架对比

随着移动端AI应用的快速发展，轻量化多模态大模型成为实现端侧智能的关键技术路径。AutoGLM-Phone-9B作为一款专为移动设备优化的90亿参数级多模态语言模型，在视觉、语音与文本融合处理方面展现出强大潜力。然而，其实际推理性能高度依赖底层框架的支持能力。本文将围绕AutoGLM-Phone-9B展开深度性能评测，重点对比TensorRT、ONNX Runtime和vLLM三种主流推理框架在延迟、吞吐量、显存占用等方面的综合表现，帮助开发者在不同部署场景下做出最优选型决策。

1. AutoGLM-Phone-9B简介

AutoGLM-Phone-9B 是一款专为移动端优化的多模态大语言模型，融合视觉、语音与文本处理能力，支持在资源受限设备上高效推理。该模型基于 GLM 架构进行轻量化设计，参数量压缩至 90 亿，并通过模块化结构实现跨模态信息对齐与融合。

1.1 模型架构特点

AutoGLM-Phone-9B采用分层注意力机制与稀疏激活策略，在保证语义理解能力的同时显著降低计算开销：

跨模态编码器：使用共享权重的Transformer块处理图像、音频和文本嵌入，提升参数利用率。
动态路由门控：根据输入模态自动激活对应子网络，避免全模型推理带来的冗余计算。
量化感知训练（QAT）：在训练阶段引入INT8模拟量化，确保低精度推理下的精度损失控制在可接受范围内。

这种设计使其能够在保持接近百亿参数模型性能的同时，满足手机、边缘计算盒子等设备的功耗与内存限制。

1.2 应用场景定位

该模型适用于以下典型场景： - 移动端多模态问答（如拍照提问、语音+图像联合理解） - 离线环境下的本地化AI助手 - 实时视频内容分析与摘要生成 - 跨模态搜索与推荐系统

由于其对实时性和能效比的高要求，选择合适的推理框架成为影响最终用户体验的核心因素。

2. 启动模型服务

注意：AutoGLM-Phone-9B启动模型需要2块以上英伟达4090显卡以支持完整的显存需求和并行推理能力。

2.1 切换到服务启动的sh脚本目录下

cd /usr/local/bin

该路径通常包含预配置的服务启动脚本，用于加载模型权重、初始化推理引擎及监听API端口。

2.2 运行模型服务脚本

sh run_autoglm_server.sh

执行后若输出日志中出现Model server started at http://0.0.0.0:8000并伴随健康检查接口/health返回200 OK，则说明服务已成功启动。

⚠️提示：首次加载模型可能需要3-5分钟完成权重映射与显存分配，请耐心等待服务就绪。

3. 验证模型服务

为确认模型服务正常运行，可通过Jupyter Lab环境发起测试请求。

3.1 打开Jupyter Lab界面

访问部署服务器提供的Web UI地址（如https://gpu-pod695cce7daa748f4577f688fe.web.gpu.csdn.net），登录后进入Jupyter Lab工作台。

3.2 发起模型调用测试

使用LangChain封装的OpenAI兼容接口调用AutoGLM-Phone-9B：

from langchain_openai import ChatOpenAI import os chat_model = ChatOpenAI( model="autoglm-phone-9b", temperature=0.5, base_url="https://gpu-pod695cce7daa748f4577f688fe-8000.web.gpu.csdn.net/v1", # 替换为当前Jupyter所在Pod的实际地址 api_key="EMPTY", extra_body={ "enable_thinking": True, "return_reasoning": True, }, streaming=True, ) response = chat_model.invoke("你是谁？") print(response.content)

预期返回结果应包含类似如下内容：

我是AutoGLM-Phone-9B，一个专为移动端优化的多模态大语言模型，能够理解图像、语音和文本信息，提供智能化交互服务。

✅验证成功标志：响应流式输出且包含合理语义内容，表明模型服务链路完整可用。

4. 不同推理框架性能对比评测

为了全面评估AutoGLM-Phone-9B在不同推理引擎下的表现，我们在相同硬件环境下（2×NVIDIA RTX 4090, 48GB VRAM each, CUDA 12.1, Ubuntu 20.04）分别部署TensorRT、ONNX Runtime和vLLM三个主流框架，并进行标准化基准测试。

4.1 测试指标定义

指标	描述
首词延迟（Time to First Token, TTFT）	用户发送请求到收到第一个token的时间，反映交互响应速度
吞吐量（Tokens/s）	每秒生成的token数量，衡量整体处理效率
显存占用（VRAM Usage）	推理过程中GPU显存峰值使用量
支持量化级别	是否支持FP16/INT8/FP8等低精度推理
多模态支持能力	是否原生支持图像、语音等非文本输入

4.2 框架部署方案与配置

TensorRT-LLM 部署

利用NVIDIA官方推出的TensorRT-LLM工具链对AutoGLM-Phone-9B进行图优化与算子融合：

trtllm-build --checkpoint_dir ./autoglm_ckpt \ --gemm_plugin fp16 \ --max_batch_size 8 \ --output_dir ./engine

优点： - 充分利用CUDA Core与Tensor Core - 支持FP16 + INT8混合精度 - 最高可达95%的理论FLOPS利用率

缺点： - 编译时间长（约20分钟） - 多模态输入需自定义Plugin支持

ONNX Runtime 部署

先将PyTorch模型导出为ONNX格式，再通过ORT-GPU加速执行：

torch.onnx.export(model, inputs, "autoglm_phone_9b.onnx", opset_version=17)

优点： - 跨平台兼容性强 - 支持动态shape与控制流 - 社区生态丰富

缺点： - 对复杂Attention结构支持有限 - 多模态分支需手动拆分处理

vLLM 部署

基于PagedAttention机制实现高效KV缓存管理：

from vllm import LLM, SamplingParams sampling_params = SamplingParams(temperature=0.5, max_tokens=256) llm = LLM(model="THUDM/autoglm-phone-9b", tensor_parallel_size=2) outputs = llm.generate(["你是谁？"], sampling_params)

优点： - 高吞吐、低延迟 - 原生支持连续批处理（Continuous Batching） - 易于集成进现有Python服务

缺点： - 对非标准架构适配成本较高 - 多模态扩展需二次开发