AI研究语言公平联盟的一项新研究显示，AI模型处理某些语言所需的Token明显多于其他语言。这种差异意味着，使用代表性不足语言的用户，可能要为同样的服务付出更高价格。

研究者解释说，大模型的分词器把文本切分成块，也就是Token，但对数字化数据丰富的语言，它的切分效率要高得多。他们发现，在网络存在感最强的20种语言当中，较少见的语言所用的Token数量，是同一条提示词英文版本的1.5倍到5倍。当研究扩展到200种语言时，在被考察的其中一个模型上，差距最大达到17倍。

分词效率直接决定账单

由于大多数大模型供应商按Token用量计费，分词效率的差距会直接转化为高得多的成本。此外，Token更多还意味着响应时间更长，能装进模型上下文窗口的信息量也更少。

研究者把这种现象称为隐藏的分词税，并警告它会加剧数字不平等。

被“征税”的不只是小语种

研究者指出，这种差距并不限于使用人数少的语言。研究称，如果按使用人数而不是网络存在感排序，这笔税会落在庞大的人口上：旁遮普语约2亿使用者、孟加拉语约2.66亿、乌尔都语约2.88亿、缅甸语约3600万、阿姆哈拉语约3600万。这意味着数亿人以英文费率的数倍，购买同样的智能。

受影响的尤其是不使用训练数据中常见书写系统的语言，例如缅甸语、藏语、高棉语和老挝语。反过来，使用拉丁字母的语言往往占据优势，即使其使用人数相对较少。