GPT-3

最经典的故障 token：Reddit r/counting 版块一位高产用户的用户名。它被抓进分词器训练语料，却几乎没出现在模型训练数据中，导致嵌入向量基本未被训练。

几乎可以肯定来自比特币开发者 Peter Todd 的用户名：从网络数据进入词表但训练不足，并与加密货币/AI 的联想强烈纠缠。

另一位 r/counting “计数名人堂” 成员（游戏厂商 Nitrome 的粉丝）的 Reddit 用户名。唯一一个本人公开承认其被 token 化的 token 家族。

r/counting 第二位计数者的 Reddit 用户名（“一个相当随机的用户名”），与 SolidGoldMagikarp 来自同一张计数名人堂图表。

Reddit 用户 davidjl123（又一位 r/counting 计数者）用户名的截断形式。罕见之处在于：它在 r50k 和新一代 cl100k 分词器下都是异常的。

r/counting 六位高产计数者之一的 Reddit 用户名。

Twitch Plays Pokémon 社区制作的机器人名字，它曾把直播聊天消息自动转发到 Reddit 实时更新帖；其作者 “Sparkette” 在 LessWrong 评论区证实了来源。

来自《火箭联盟》（Rocket League）崩溃日志中大量出现的 `Message=PsyNetMessage_X_57` 行，这些日志被大量贴到 Reddit 后进入分词器语料。

《坎巴拉太空计划》（KSP）存档/载具文件中的标识符（attachment rotation，附件旋转），随网上流传的 KSP 文件进入语料；约十个故障 token 可追溯至 KSP。

与 attRot 同源的 KSP GUI 状态标识符，同族还有 ` strutConnector`、` guiIcon`、` srfAttach` 等。

又一个 KSP token；同时也是 GPT2-small 嵌入空间中离中心最近的 token（距离 1.5305）。

电商后端字段 “BuyableInstoreAndOnline” 的碎片（追溯到一个废弃 Weebly 商店的 HTML）；同一来源还产生了 `quickShip`、`isSpecialOrderable`、`wcsstore` 等故障 token。

r50k 中已知最长的故障 token——来自网站 “raw download / clone / embed report print” 界面字符串的嵌套家族（来源分析由 nostalgebraist 完成）。

经典的乱码（mojibake）token：UTF-8 被错误解码产生的 Ã、Â 序列重复出现，因在分词器语料中频繁出现而被合并为单个 BPE token，却几乎不在模型训练数据中。同族还有重复 16 次的变体及 `ÛÛ`。

来源完全未知的 token——加引号也搜索不到任何结果——因触发了有记录以来最激烈的补全而出名。

␣SolidGoldMagikarp 的截断变体（少了 “Solid”）：同属 r/counting 用户名片段，被抓进分词器语料却几乎没出现在模型训练数据中。

Reddit r/counting 版块一位用户的用户名碎片，与 SolidGoldMagikarp 同批进入词表却欠训练。

Twitch 直播机器人 “StreamerBot” 的名字碎片。

` petertodd` 的子串 token：单独出现时同样未被充分训练，并继承了父 token 的怪异气质。

比特币核心开发者 Greg Maxwell 的用户名碎片——与 ` petertodd` 同为“比特币名人”故障 token。

太空沙盒游戏《Space Engineers》的名字碎片，是互指网络中最常被模型“代为说出”的 token。

手游《Puzzle & Dragons》角色名（「龍喚士」系列）碎片。

手游《Puzzle & Dragons》角色 Leilan 的名字碎片，是 petertodd 转置实验中最热门的“替身”。

手游《Puzzle & Dragons》角色 Skydragon 的名字碎片。

日文片假名「ゼウス」（希腊神话的宙斯）。普通词汇却成为故障 token，疑似因训练语料中该形态罕见而欠训练。

片假名「サーティ」（“三十”），词源考据为《Puzzle & Dragons》与 Baskin-Robbins（日本“31 冰淇淋”）联动的角色名碎片。

电商库存字段 “BuyableInstoreAndOnline” 的碎片，与 `oreAndOnline` 同源。

学术幻灯片脚本 “View large Download” 的碎片（SGM3 词源考据）。

Minecraft Forge 模组加载器的日志碎片。

Minecraft 多人服务器日志碎片（MpServer 类名）。