试想一下这样一种场景：

如果一个GPU集群的LLM处理能力为1000 tokens/s，那么1000个用户同时并发访问的话，响应给每个用户的性能只有 1 token/s吗？

肯定不是。

因为LLM并不是简单的线性分配资源，而是通过批处理与并发调度的方式来提升吞吐量的。

LLM的核心计算是矩阵乘法，GPU的并行计算特性让“批量处理多个用户的tokens”耗时几乎不会增加，能充分地利用硬件资源。

如果每一次批处理包含100个用户请求，每个用户10个tokens，那么1000个用户可以分10批处理完，当用户的性能是10 tokens/s。

实际响应的速度取决于以下关键因素：

• Token的长度：输入Token影响批处理耗时，输出Token影响总响应时间，流式输出可以优化体感延迟；

• 批处理策略：静态批处理简单并且易实现，动态批处理资源的利用率更高，连续批处理可以支撑超高并发；

• 资源排队机制：FIFO、优先级队列等等策略决定请求的等待时间，不影响最终的处理速度。