␣ForCanBeConvertedToF

ForCanBeConverted 三连 token 的第二个成员（cl100k id 80370）——同一个 C# 编译器风格的碎片被 BPE 切成了三个相邻 token（80369–80371）。

" ForCanBeConvertedToF"

␣代表一个真实空格；符号本身不属于 token，复制时会保留原始空格。

异常表现

• 01「多义性」故障 token：与 ForCanBeConverted 并列原文最飘忽的两个 token——每次都被理解成大不相同的词；在 gpt-3.5-turbo 上 temperature=0 时输出仍不确定（原文粗体标注）。LessWrong

参考链接

• A Search for More “Unspeakable” Glitch Tokens — LessWrong

相关 token