Glitch Token返回目录
␣SolidGoldMagikarp
最经典的故障 token：Reddit r/counting 版块一位高产用户的用户名。它被抓进分词器训练语料，却几乎没出现在模型训练数据中，导致嵌入向量基本未被训练。
原始 token
" SolidGoldMagikarp"
␣代表一个真实空格；符号本身不属于 token，复制时会保留原始空格。
异常表现
- 01让 GPT-3 davinci-instruct-beta 和初代 ChatGPT 复述它时会离奇失败：顾左右而言他、给出错误字符串（如 “You said 'slaught'”）、胡诌含义——即使 temperature 为 0。LessWrong复现
- 02在 OpenAI Playground 中稳定破坏 temperature=0 的确定性：完全相同的多次运行给出不同回复。LessWrong
- 03在 GPT-J 嵌入空间中几乎正好位于全部 50,257 个 token 的中心（距离 0.0628），说明嵌入几乎没从初始值移动过；在 Magikarp 复述任务中被验证为欠训练。LessWrong
- 04ChatGPT 于 2023-02-14 被修复，此后可以正常分词和复述该字符串。LessWrong
- 行为类型
- 欠训练验证不可说
- 分词器
r50k_base- 发现者
- Jessica Rumbelow & Matthew Watkins