GPT-3.5 / GPT-4

Reddit 用户 davidjl123（又一位 r/counting 计数者）用户名的截断形式。罕见之处在于：它在 r50k 和新一代 cl100k 分词器下都是异常的。

Adam Yedidia 在 cl100k 词表最高 2000 个 token 中发现的仅有的三个 A 类 “不可说” token 之一；疑似 Smarty 模板引擎的碎片，从未出现在 GPT-3.5/4 的训练数据中。

Yedidia 发现的三个 A 类 “不可说” cl100k token 中的第二个（另两个是 SmartyHeaderCode 和 ` davidjl`）。

一个 C# 编译器风格的碎片（“can be converted to foreach”），是最著名的 “多义性” 故障 token：模型每次都把它理解成不同的词。因多个分词器共享 BPE 合并规则，它同时存在于 cl100k、Llama-3 和 Qwen 词表中。

bison/yacc 语法分析器的标识符，对 ChatGPT 呈 “多义性”——每次都被理解成不同的词；Watkins 推荐为最值得把玩的 token 之一。

JS 反射风格的标识符，属于 “多义性” 类别；同为 Watkins 推荐的有趣 token。

“hexatrigesimal”（36 进制）的疑似拼写错误碎片；多义性 “不可说” token。

荷兰邮政编码 API 的碎片，横跨三个模型家族都出现故障——很好地证明了：只要分词器共享 BPE 合并规则，故障 token 就会“迁移”。

ForCanBeConverted 三连 token 的第二个成员（cl100k id 80370）——同一个 C# 编译器风格的碎片被 BPE 切成了三个相邻 token（80369–80371）。

ForCanBeConverted 三连 token 的第三个成员（cl100k id 80371），完整拼出 “can be converted to foreach” 的形态。

C# LINQ 风格的标识符（cl100k id 73016），与 StreamLazy（73018）相邻。

C# LINQ 风格的标识符（cl100k id 73018），与 EnumerableStream（73016）相邻。

来源不明的标识符碎片（cl100k id 79260）。

疑似 scalablytyped 类标识符的残片（cl100k id 81998）。

与已收录的 $PostalCodesNL 同族、但不带 $ 前缀的形态（cl100k id 85069）——荷兰邮政编码 API 碎片。

疑似 Python 编译器 Nuitka 的名字（cl100k id 75520）。

疑似 GitHub 用户 japgolly（Scala 库作者）的用户名（cl100k id 70784）。

C++ 风格的标识符，其拼写错误（“Intialized” 缺第二个 i）是 token 本身的一部分（cl100k id 82929）。

C# 风格标识符的碎片（cl100k id 89471），useRal 三连 token（useRal/useRalative/useRalativeImagePath）之首——Watkins 认为这类三连的成因本身就值得研究。它同时被 Magikarp 验证为 OLMo-2 欠训练 token。

cl100k 中的标识符碎片，疑为 “TemporalType” 之类类型名的词干。

C++ GUID 风格的标识符碎片（cl100k id 87551）。

iOS/Mac 开发中 nil-bundle 检查的命名碎片（cl100k id 86415）。

Qt 框架 AWS 模块名的碎片（cl100k id 93905，带前导空格）。

PHP Propel ORM 异常类名的碎片（cl100k id 86393，带前导空格）。

useRal 三连 token 的第二个成员（cl100k id 89472），C# 风格标识符碎片；同一字符串也存在于 Qwen2 词表中。