Sonnet 5的Token消耗显著高于GPT-5.x

得益于Anthropic随近期版本发布的新分词器，Claude在Token消耗上明显比OpenAI的GPT-5.x系列更"能吃"。

大语言模型使用分词器来处理文本到Token的映射。Token没有统一定义，但通常是三到四个字符映射为LLM实际处理的整数。Token已成为AI模型计费的基本经济单位。由于不同模型对词语的切割方式和每任务所需Token数各不相同，预测AI这场"老虎机"的最终账单变得相当困难。

Anthropic分词器的近期调整似乎让问题进一步复杂化——相同内容在某些模型上的处理成本更高了。

AI应用构建平台Playcode最近分析了Anthropic最新分词器的影响，发现同一个TypeScript文件经Claude处理后，Token消耗比OpenAI的GPT-5.x系列最多高出73%。

Anthropic承认Token膨胀，给出1.0到1.35倍的区间

Anthropic坦承其新分词器——在6月底Sonnet 5上线时发布——对相同输入生成的Token可能多于此前版本。

"Sonnet 5是Sonnet 4.6的升级版，但它采用了更新的分词器，改变了模型处理文本的方式以提升性能（这类似于我们在Claude Opus 4.7中引入的分词器变更），"公司解释道。"代价是相同输入可能映射出更多Token：根据内容类型不同，大约在1.0到1.35倍之间。"

Anthropic为Sonnet提供了阶段性的优惠价格——每百万输入Token 2美元、每百万输出Token 10美元，有效期至2026年8月31日——以使膨胀的Token生成大致实现成本中性。但之后价格将上涨至3美元和15美元。

公司表示，使用新分词器的用户账单可能比旧模型用的分词器高出约三分之一。若与OpenAI最新版o200k分词器相比，Anthropic用户的成本差距可能进一步拉大。

跨厂商对比：Claude Token消耗多出50%到73%

Playcode的跨厂商Token对比发现，对于一个2888字符的TypeScript文件，Claude新分词器生成的Token数是GPT-5.x分词器的1.73倍，是Claude旧版分词器的1.32倍。不同代码类型的数据有所不同：Rust为1.58倍，JavaScript为1.52倍，Python为1.50倍。

因此，如果Anthropic的标价要与OpenAI的GPT-5.x基准对齐，Playcode认为Opus 4.8的成本应该是每百万输入Token 7.50美元、输出37.50美元，而非目前公布的5美元和25美元。

该AI应用平台还提到，营销平台Ploy本周发布了一份使用OpenAI GPT-5.6 Sol和Anthropic Opus 4.8进行生产迁移的记录。

"GPT-5.6完成页面速度快2.2倍，成本低27%，输出Token用量约为一半，"Ploy声称。

当然，计算AI账单还有其他因素需要考虑。成本应该从任务完成率和模型工具链（如Claude Code、Codex、Pi、OpenCode等）的影响来综合评判，而不应只看Token成本。