上个月底CFO拿着一张账单找到我的时候我正在给团队开周会。数字很直白我们团队上个月的AI API支出从2万出头涨到了将近9万。三个月前还只是几千块。涨了四倍多而我们的业务量只增长了30%。我是技术负责人这个问题我得解决。以下是我们排查问题、最终引入网关做成本治理的完整复盘。一、问题定位钱花在哪了第一件事是搞清楚钱到底花在了什么地方。但这步就花了整整两天。我们团队二十多个人各业务线自己对接了大模型API。客服系统用的Claude内容团队用的GPT-4o研发用的DeepSeek和Copilot。每个模型供应商的计费方式不同账单格式不同有的按Token有的按请求次数有的还有阶梯定价。我让各业务线报各自的API用量汇总之后发现两个问题问题一大量调用浪费在简单任务上。客服系统接的是市面最贵的模型之一但拉了日志一看80%的请求是怎么改密码发票怎么开这类标准FAQ。这些问题用便宜的小模型甚至缓存就能解决但我们一直在用最贵的模型回答。问题二没有调用上限。有个实习生写了个数据清洗脚本调了大模型API处理一批数据。脚本逻辑有bug导致无限重试跑了整整一个周末。没人发现因为没有告警没有限额没有任何熔断机制。光这一个脚本就烧了一万多。二、分析为什么成本会失控排查完之后我把问题归纳了一下。本质上不是模型太贵而是我们没有任何治理手段。缺乏统一入口。各业务线各买各的API各管各的Key。作为技术负责人我连团队到底用了多少个模型、有多少个API Key都数不清。这种情况下谈成本管控就是空话。没有分账能力。我没法回答客服部上个月花了多少Token研发部的AI编码助手花了多少钱这种基本问题。没有分账就没有 accountability各业务线自然没有节约动力。没有配额和熔断。任何调用方都可以无限调用任何脚本bug都可能导致成本爆炸。这就像给每个员工一张不限额的信用卡不出事才奇怪。三、解决方案引入网关做统一治理研究了一圈方案后我决定引入魔芋网关MAI Gatewayhttps://www.moyu.info/register?affuZut核心逻辑就一条所有大模型调用必须经过网关不允许直连。具体做了几件事第一步统一接入。所有业务线的模型调用改走网关的统一接口。好在网关兼容OpenAI格式大部分业务代码只需要改base_url和api_key迁移成本不高。一周内完成了全部业务线的接入。第二步配置智能路由。把客服系统的FAQ类请求路由到便宜的小模型只有复杂问题才走大模型。同时开启语义缓存重复问题直接本地返回不调API。光是这一项客服系统的API成本就降了70%。第三步设置配额和熔断。每个业务线、每个项目都设了月度Token预算。到达80%发预警通知到飞书群到达95%发邮件给负责人到达100%自动熔断。那个无限重试的脚本以后最多烧到预算上限就会被拦住。第四步开启分账。网关按消费者维度自动记录每次调用的Token消耗和成本。月底我能直接拉出一张报表客服部花了多少、研发部花了多少、哪个项目超标了。一目了然。四、效果三个月后的数据接入网关三个月后我重新看了一组数据月度API支出从9万降到了3.2万降幅64%客服系统单次请求平均成本下降72%智能路由缓存没有再出现过因为脚本bug导致的成本爆炸事件月底财务对账时间从两天缩短到半小时网关自动生成报表意外收获因为有了调用统计我们发现有两个API Key已经半年没人用了直接清理掉五、几点经验教训第一AI成本失控不是会不会的问题是什么时候的问题。如果你团队有多个业务线在用大模型且没有任何统一管控手段成本爆炸只是时间问题。第二治理要趁早。我们如果在月支出2万的时候就做这件事就不至于到9万才被动应对。越往后接入存量API Key和业务代码的迁移成本越高。第三技术方案不需要复杂但必须统一入口。网关本身不是什么高深技术但所有调用必须经过一个口子这个约束是成本治理能落地的前提。最后说一句引入网关这件事技术上不难难的是推动各业务线放弃自己手里的API Key接受统一管控。这本质上是个管理问题不是技术问题。但一旦过了这个坎后面就顺畅了。