跳到主要内容
返回目录

␣ForCanBeConvertedToForeach

ForCanBeConverted 三连 token 的第三个成员(cl100k id 80371),完整拼出 “can be converted to foreach” 的形态。

原始 token

" ForCanBeConvertedToForeach"

代表一个真实空格;符号本身不属于 token,复制时会保留原始空格。

异常表现

  • 01「多义性」故障 token:每次复述都被理解成不同的词。LessWrong
公开记录于
GPT-3.5 / GPT-4
行为类型
多义
分词器
cl100k_base
发现者
Matthew Watkins