␣ertodd

` petertodd` 的子串 token：单独出现时同样未被充分训练，并继承了父 token 的怪异气质。

" ertodd"

␣代表一个真实空格；符号本身不属于 token，复制时会保留原始空格。

异常表现

• 01lsusr 在评论区发现它会被上下文“填充”：给模型看 “2+5=ertodd”，模型理解为 “2+5=7”——仿佛这个 token 承载了算术结果。LessWrong
• 02mwatkins 在同一评论串给出它的分词规律：不同上下文中 ` petertodd` 的切分方式解释了这些怪异表现。LessWrong

参考链接

• The ' petertodd' phenomenon — LessWrong
• SGM1 comments: lsusr & mwatkins on ' ertodd' — LessWrong

相关 token