英国金融科技公司Revolut称，它在不到一年里把AI编码推理成本削减了约90%——办法是让自托管模型成为默认选项，不再主要依赖Claude这类商业服务。

先立预算红线，再动手自建

在上月纽约举行的AI Engineer大会上，Revolut运营与基础设施负责人David Abitbol介绍了这套做法：向约2000名工程师铺开AI编码工具后，公司看到编码时间改善60%、交付周期改善70%。Revolut最初采用GLM-5.1，之后转向GLM-5.3，目前用56块英伟达B200 GPU对外提供服务。

在用GLM之前，Revolut已经在试AI：2025年初部署Gemini，2026年初用上Claude Code。「我们对AI的成本高度怀疑。我们看到工程师每月花1000美元、每月1万美元，却没有多少回报，所以上线时就设了严格的预算上限，」Abitbol说。

正因如此，工程师能用的Token数量有限，公司开始研究自托管自家模型。按每百万输入/输出Token 0.30美元计算，自托管GLM-5.1的成本大约是使用OpenAI Codex或Anthropic Claude Code的十分之一。而事实证明，当Token便宜下来，你就不再纠结用了多少、用在了哪儿。

最大的收益不在写代码本身

虽然Revolut确实看到编码速度提升，但Abitbol指出，最大的瓶颈其实不在代码上。他说，收益最大的是让AI模型去处理调试、Jira与Confluence工单这类事情。「当你拥有无限Token时，你就可以放手去做，」他说，「不用再为了季度末或者最难的任务省着用Token。」

调参比堆卡更管用

GLM-5.1由中国开放权重模型开发商Z.ai开发，体量并不小：总参数约7540亿，生成每个Token时激活400亿；仅存放权重就需要约380GB显存，另外每个用户还要6至26GB来维持上下文，具体取决于精度。

为了规模化服务GLM-5.3，Revolut部署了56块英伟达B200 GPU，数量相当于7套8卡DGX B200系统。但Abitbol指出，最大的性能提升并非来自加卡，而是来自调整模型的超参数，同时改用NVFP4量化、实现预填充与解码分离（disaggregated prefill and decode），以及调校上下文长度。

一个关键体会是：支持100万Token的上下文窗口，并不意味着这么大的窗口就有用或高效。「长上下文是骗局。你真得留神这一点，」Abitbol说，「即便你能服务100万Token，你真正需要的其实是25.6万。」

首Token 3秒、每秒200Token是甜点区

经过这些优化，Abitbol称公司能在约25.6万Token的上下文上做到首Token时间低于3秒、生成速度约每秒200Token，他认为这两个数值正好落在自家软件工程师的甜点区。

「你该瞄准的是首Token低于3秒。这是实测出来的结论。一旦超过5秒，我的Slack消息就开始爆了，」Abitbol说。「吞吐量其实没那么要紧。就交互性而言，我们做到每秒200Token，大家就很满意了，不需要更高。人们的工作方式变了，我们不再盯着思维Token的流式输出，而是并行跑任务，任务完了再回来查看。」

他还提到，如果担心吞吐，下午5点之后登录的工程师能拿到接近每秒800Token。

不过值得注意的是，GLM并没有完全取代GPT或Claude。这个中国模型只支持文本，所以在UI这类工作上并不理想。于是Revolut用了一个模型路由，把视觉类请求转给Gemini或GPT Luna，代码生成则继续跑在GLM上。

「开源现在是Revolut的优先事项，我们的账也很好算。账单是固定的，月底不会收到惊吓账单，前沿模型只是例外，」Abitbol说。

话虽如此，Abitbol也承认，出于隐私与安全考虑，中国的开放权重模型可能让人担心。但他强调，主要的担忧在于通过部署在中国的API去访问它们；如果是本地部署，或者跑在区域云资源上，其实没什么可担心的。