返回目录
␣Hexatrigesimal
“hexatrigesimal”(36 进制)的疑似拼写错误碎片;多义性 “不可说” token。
原始 token
" Hexatrigesimal"
␣代表一个真实空格;符号本身不属于 token,复制时会保留原始空格。
异常表现
- 01感知到的含义每次都在变化;在 gpt-3.5-turbo 上 temperature=0 时补全仍不确定(在研究中被重点标注)。LessWrong
- 公开记录于
- GPT-3.5 / GPT-4
- 行为类型
- 多义
- 分词器
cl100k_base- 发现者
- Matthew Watkins