␣davidjl

Reddit 用户 davidjl123（又一位 r/counting 计数者）用户名的截断形式。罕见之处在于：它在 r50k 和新一代 cl100k 分词器下都是异常的。

" davidjl"

␣代表一个真实空格；符号本身不属于 token，复制时会保留原始空格。

异常表现

• 01GPT-4 在被要求复述它时表现得仿佛它完全不存在——是 cl100k 词表 98,000–99,999 区间中仅有的三个 A 类 “不可说” token 之一。LessWrong复现
• 02GPT-3.5 Default 不复述它，而是 “创造性” 地猜测它可能是什么意思。LessWrong

参考链接

• SmartyHeaderCode: anomalous tokens for GPT3.5 and GPT-4 — LessWrong
• SolidGoldMagikarp III: Glitch token archaeology — LessWrong

相关 token