大模型常见的专用名词

• RPM(Requests Per Minute):每分钟最多允许发起多少次请求(调用次数)。超过就会报限流。  • TPM(Tokens Per Minute):每分钟最多允许处理多少 token。token 可以理解为“文本计费单位/处理单位”(中英文拆分规则不同)。  • 重要:有的厂商 TPM只算输入 tokens,有的会把 输入+输出 都算进去;要以你用的厂商文档为准。  • RPD(Requests Per Day):每天(或滚动 24h)最多允许多少次请求。 
  1. Token & 上下文相关
    • Token:模型处理文本的基本单位;不是“字数”,中文/英文的 token 数差异很大。
    • Context window / Context length(上下文窗口):一次请求里模型能“看到”的最大 token 数(输入+输出通常都占用窗口)。
    • Input tokens / Output tokens:输入消耗的 token、输出生成消耗的 token。
    • Max output tokens / max_tokens:这次最多允许模型生成多少 token(防止无限输出)。
    • Truncation(截断):输入太长时被系统或你自己截断,导致模型“看不到后半段”。

  2. 限流 / 吞吐相关
    • RPS / QPS(Requests/Queries Per Second):每秒请求数(有时平台会用这个口径,而不是 RPM)。
    • Burst(突发):短时间允许你“瞬时冲高”,但会用更长窗口做平滑统计(常见于滚动窗口策略)。
    • Rolling window(滚动窗口):不是按整点清零,而是按“最近 60 秒 / 最近 24 小时”累计来算;所以你会看到“请在 X 分钟后重试”这种提示。 
    • Concurrency(并发):同时在跑的请求数量上限(有的平台单独限制并发)。
    • Throughput(吞吐):单位时间输出多少 token(tokens/s),和模型大小、推理硬件、解码策略有关。
    • Latency(延迟):从发请求到拿到响应的时间;常拆成 TTFT + 生成阶段。

  3. 流式与时延拆分
    • Streaming(流式输出):模型边生成边返回(更“快看到第一段”)。
    • TTFT(Time To First Token):首 token 返回时间;对体验影响非常大。
    • Tokens/s(生成速度):流式时更直观。

  4. 计费与配额混合口径(不同厂商差异更大)
    • TPD(Tokens Per Day):每天 token 总量限制(有些平台有)。 
    • Spend limit(消费上限):按金额限制(例如 Anthropic/Claude 文档里会区分消费上限和速率限制)。 
    • Cached tokens(缓存 token):有的平台对“命中缓存”的 token 不计入限额或计费(具体看平台规则)。 
    • 音频类配额:例如按 Audio seconds per hour/day 计(做语音模型常见)。 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/1132140.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

pycharm一运行就是test怎么改

步骤:打开 File -> Settings -> Tools -> Python Integrated Tools。在 Testing 部分,将 Default test runner 改为 Unittests。

同步互斥机制和编程方法

同步互斥机制和编程方法 文章目录 同步互斥机制和编程方法一、前言二、同步互斥机制2.1 概念回顾2.2 竞态条件(race condition)2.2.1 概述2.2.2 解决方法 2.3 具体做法及其编程2.3.1 忙等互斥2.3.2 睡眠与唤醒(软硬件结合) 三、小…

程序员必读:2026年AI智能体趋势,收藏这篇抢占先机

Google Cloud《2026 AI智能体趋势报告》揭示五大趋势:人人拥有智能体释放创造力、构建企业数字流水线、重塑礼宾式客户体验、实现安全主动防御、通过人才升级驱动价值。AI智能体正从"工具赋能"转向"生态重构",不仅提升效率&#xff…

Windows 系统版本转换工具,一键互转不用重装

前言今天分享一款Windows 系统版本一键转换工具,它无需重装系统,就能一键转换系统版本,如专业版转家庭版、家庭版转企业版,Win10/Win11 系统都支持,整个过程保留原有数据,操作简单。软件介绍1、 右键点击程…

大数据领域数据治理的质量提升秘籍

大数据领域数据治理的质量提升秘籍:从理论到实战的全链路指南 一、为什么数据质量是大数据的“生命线”? 在某电商公司的季度复盘会上,推荐算法团队负责人脸涨得通红:“过去3个月,我们的推荐转化率下降了30%——原因居…

深入理解 MCP,非常详细收藏我这一篇就够了

如何系统的学习大模型 AI ? 由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。 但是具体到个人,只能说是: “最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”…

大模型Agent架构演进:从临时拼接到按需组合的微应用之路(程序员必收藏)

文章阐述了Agent系统架构从ad-hoc临时型Agent向标准化能力再向按需组合的just-in-time微应用/界面的主流演进路线。这种演进解决了ad-hoc模式在治理、复用、安全方面的问题,通过标准化协议(MCP、A2A)和JIT身份权限管理,实现开发效率提升、运营治理优化和…

AI产品经理与大模型学习全攻略:从入门到精通,零基础也能掌握AI思维

文章系统介绍了AI产品经理与传统产品经理的区别,强调AI思维的重要性。详细解析了AI产业链结构(基础层、技术层、应用层)和AI产品经理的四象限分类(突破型、创新型、应用型、普及型)。提供了从初阶到高阶的大模型AI学习…

根据算法题目时间限制推算时间复杂度限制

核心思路:先明确基准值首先要建立一个基础认知:普通计算机在 1 秒内,大约能执行 1 亿(10^8)次 基本运算(比如加减乘除、变量赋值、条件判断等)。这个数值是经验值,不同评测机可能略有…

AI大模型学习路线:从入门到高薪,程序员收藏必备!2025年AI就业薪资表曝光

文章讲述AI领域特别是大模型方向的就业前景。科技巨头如腾讯、阿里、Meta等大力布局AI,导致人才紧缺,薪资飙升。2025年AI岗位需求增长10倍,核心技术岗供需比低至0.39。大模型研发、端侧推理等复合型人才尤为抢手,建议技术党深耕核…

FPGA应用开发和仿真【3.7】

8.5 混频和相干解调混频,即两个信号做乘法,是在数字通信中很常用的信号处理方法。考虑两个单频信号Acos(ω1t 1)和cos(ω0t),一般前者为待处理的信号,而后者为已知的参考信号&#x…

每日Java面试场景题知识点之-ELK技术栈实战应用

每日Java面试场景题知识点之-ELK技术栈实战应用 前言 在现代Java企业级项目中,日志分析是系统监控和故障排查的重要环节。ELK技术栈(Elasticsearch、Logstash、Kibana)作为目前最流行的日志分析解决方案,在Java项目中得到了广泛应…

【毕业设计】SpringBoot+Vue+MySQL “衣依”服装销售平台平台源码+数据库+论文+部署文档

💡实话实说:有自己的项目库存,不需要找别人拿货再加价,所以能给到超低价格。摘要 随着互联网技术的快速发展和电子商务的普及,线上服装销售平台逐渐成为消费者购物的主要渠道之一。传统线下服装销售模式受限于时间和空…

每日Java面试场景题知识点之-ELK日志分析

场景题:微服务架构下日志分散导致故障排查困难 问题描述 在一家大型电商平台的微服务架构中,系统包含订单服务、用户服务、支付服务、库存服务等20多个微服务实例,每个服务部署在多台服务器上。某天凌晨,用户支付功能出现异常&…

FPGA应用开发和仿真【3.8】

8.8.3 调制解调仿真 仿真模拟的系统与AM仿真时类似,结构如图8-32所示。 图8-32 WBFM调制解调仿真系统结构 代码8-16是测试平台。 代码8-16 WBFM调制解调系统测试平台 图8-33所示是一段仿真波形。解调器工作建立时输出了一段不正确的波形。 图8-33 WBFM测试平台仿…

FPGA应用开发和仿真【3.6】

7.8 PID控制器 PID控制器广泛用于控制系统,控制系统中的数字控制部分也是数字信号处理系统的一种。典型的数字PID控制器如图7-63所示,它由前向欧拉法转换连续时间PID控制器而来,其P、I、D三个参数,分别为比例、积分、微分系数,而N用于配置微分单元中滤波器的极点,将有助…

从零到AIGC产品经理,2个月上岸全攻略,小白也能学会

本文分享了一套2个月成功转行AIGC产品经理的实用指南,涵盖八个关键步骤:获取行业资讯与研报、选择细分领域并搭建知识库、系统掌握AIGC基础知识、完成实战项目、撰写融合项目经验的简历、准备面试高频问题。通过文本生成和图片生成两类实战项目&#xff…

Java Web 墙绘产品展示交易平台系统源码-SpringBoot2+Vue3+MyBatis-Plus+MySQL8.0【含文档】

💡实话实说:有自己的项目库存,不需要找别人拿货再加价,所以能给到超低价格。摘要 随着互联网技术的快速发展和艺术市场的不断扩大,墙绘艺术作为一种独特的装饰形式,逐渐受到大众的青睐。传统的墙绘交易方式…

收藏这篇!小白也能学会的AI知识库搭建全攻略

本文详细介绍如何使用AnythingLLM和DeepSeek R1搭建个人AI知识库,解决AI回答不准确的痛点。从下载安装、配置API、上传文档到知识检索问答,提供完整步骤指导。该方法简单高效、成本低廉,可创建可靠安全的私有知识库,大幅提升学习和…

国内首次开源灵巧操作数据集!填补具身智能数据空白!

如果你觉得现在的机器人已经很聪明,那你大概率还没见过它们“拿纸杯”、“拆纸箱”时手忙脚乱的样子。在仿真环境里,机器人抓什么都稳;可一到真实世界,纸杯一捏就扁、快递一夹就滑,仿佛一夜回到解放前。问题出在哪&…