研究：非英语语言消耗更多AI token

Rest of World 的 Ananya Bhattacharya 发布的一项研究称，非英语语言在 AI 中消耗的 token 明显更多，最贵的语言比最便宜的多用 1.5 至 5 倍，这一差异被称为“tokenizer tax”。 该结论目前来自 Techmeme 转述的研究标题与摘要，Techmeme 正文页面为播客推荐内容，未提供研究的方法、样本或具体语言清单。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。