第 6 天：Token 是什么
今天我们聊一个经常出现却容易被忽略的概念——Token。AI 读懂文字并不是按「整句话」来的，而是把句子拆成一个个小碎片，这些小碎片就叫 Token。搞懂 Token，能帮你更准确地预估费用，也能避免聊到一半 AI 突然「失忆」。
把句子拆成小乐高
想象 AI 是一个只认识积木的小朋友。一篇文章在它眼里不是「一整幅画」，而是一堆可以拼装的零件。这些零件就是 Token。一个 Token 可能是一个完整的英文单词，比如「apple」；也可能是半个词，比如「un」+「believ」+「able」；遇到中文，则常常是一个字或者一个常用词组，比如「今天」、「天气」或者单字「很」。所以 AI 处理文字的最小单位是 Token，而不是你眼睛里看到的「字」。
Token 和字数不是一回事
很多人以为一个汉字就是一个 Token，其实不一定。一句中文「我喜欢吃苹果」可能只拆成 4～5 个 Token，而同一句话写出来是 7 个汉字。也就是说，字数和 Token 数并不相等，英文里差别更明显：「unhappiness」只是一个英语单词，却可能被拆成「un」「happiness」两个 Token。简单记：Token 是模型自己定的拆分方式，可能比字多，也可能比字少，不能直接拿字数去换算。
Token 决定费用和记忆
为什么 Token 重要？因为它直接影响两件事。第一是费用：多数 AI 服务按 Token 数量计费，输入的 Token 越多、输出的 Token 越多，钱花得越多。一封 1000 字的邮件，模型可能算成 1500 个 Token 左右。第二是上下文窗口：AI 一次能记住的内容是有限的，这个上限通常用 Token 衡量，比如 8K、32K、128K。一旦对话总 Token 超过上限，模型就会「忘记」最早的内容，就像聊天记录被截断了一样。
停一下，确认你真的懂了
每题只能选择一次，不计分，也不会保存结果。
第 1 题
AI 处理文字时，所谓的「最小单位」是什么？
第 2 题
为什么不能直接把「字数」当成 Token 数？
第 3 题