Token是人工智能大模型理解和生成语言的最小语义单元，也可以通俗地理解为AI世界的“语言原子”，故翻译为“词元”。当AI处理文本时，它并不像人类一样直接理解完整的句子，而是首先将输入的文字“打碎”成这些小片段，这一过程称为“Token化”。
用个更直观的类比，AI大模型就像给人类做饭的厨师，人类的提问是食材，回答是菜品，但是他有个规矩：只能一盘一盘把食材往后厨里运，做好了菜也只能一盘一盘端出来。
在具体换算上，不同语言的Token数量有所差异。通常，一个汉字约等于1到2个Token，而一个英文单词约等于1个Token，标点符号也单独计算。例如，中文句子“今天天气很好。”大约会被拆分为7个Token，而同样的英文句子则会生成约6个Token。因此，表达相同的意思，中文消耗的Token往往比英文多30%至50%。
Token在大模型应用中扮演着三个至关重要的角色：
第一，它是AI的“计价器”和“电费”。绝大多数商业大模型都按照Token数量收费，用户输入（提问）和输出（回答）的Token总和，决定了每次交互的费用。不同模型的Token单价差异巨大，国产模型价格可能仅为海外模型的六分之一。
第二，它决定了AI的“记忆力”。每个大模型都有一次性能处理的Token上限，即“上下文窗口”。例如，一个模型可能支持128K Token，大约相当于300页书的内容。超出这个范围的对话内容，AI就会“忘记”，无法在后续交流中引用。
第三，它是驱动AI执行任务的“能源”。模型每进行一步思考和推理，都需要消耗Token。任务越复杂，消耗就越大。
为什么“养龙虾”消耗的Token多呢？因为在“OpenClaw”这类能“动手干活”的AI智能体中，它们需要将一个复杂指令拆解为数十个步骤，每一步都需调用大模型进行决策和执行，导致其Token消耗量是传统聊天AI的100到1000倍，一个复杂任务可能消耗数万乃至上亿的Token。
随着AI从“聊天助手”进化为“干活助手”，每个人都会和Token打交道，就像你每天都要用电、用水一样自然。理解Token，就是理解AI时代的底层逻辑。
来源：群众杂志微信公众号综合人民日报经济社会微信公众号、温州经信微信公众号
编辑：小苒
校对：小畅
初审：小千
终审：平安
