vLLM常用参数解释
--max-model-len 16384 ：设置模型能处理的最大上下文长度（输入 + 输出）token数量，典型值：8192, 16384, 32768, 131072
--max-num-batched-tokens 8192 ：一次批处理（batch）中，最多允许的总 token 数量（包括所有请求的 prompt + 已生成的 token）
--max-num-seqs 64：一个 batch 中最多同时处理的请求数量（即并发序列数），即使总 token 数远低于 8192，也不能超过 64 个请求同时处理
--quantization awq：指定量化方式
--dtype=auto：自动选择精度
--trust-remote-code
--distributed-executor-backend=ray ：通过ray群集运行
--pipeline-parallel-size 2 ：指定节点群集数量
--tensor-parallel-size 2：指定每个节点所使用的显卡数量
--gpu-memory-utilization 0.9：限制每个显卡使用量
)
)
