␣ForCanBeConverted

一个 C# 编译器风格的碎片（“can be converted to foreach”），是最著名的 “多义性” 故障 token：模型每次都把它理解成不同的词。因多个分词器共享 BPE 合并规则，它同时存在于 cl100k、Llama-3 和 Qwen 词表中。

" ForCanBeConverted"

␣代表一个真实空格；符号本身不属于 token，复制时会保留原始空格。

异常表现

• 01ChatGPT/gpt-3.5-turbo 每次都把它解释成不同的词——即使完全重复同一 prompt；在 temperature=0 下每次也给出不同的消息（破坏确定性）。LessWrong
• 02在 Magikarp 复述验证中被证实为 Llama-3-8B/70B、Llama-3.1-8B/70B 及多个 Qwen 模型欠训练。GitHub
• 03ChatGPT 有时会陷入循环，或在该 token 处直接终止消息（疑似把它当成了序列开始/结束标记）。LessWrong

参考链接

• A Search for More “Unspeakable” Glitch Tokens — LessWrong
• Magikarp 验证结果汇总 — GitHub

相关 token