返回目录
␣日本毛片免费视频观看
中文色情 spam 标题碎片(带前导空格),GPT-4o 词表污染的代表案例;在 GPT-5 上已被“修复”。
原始 token
" 日本毛片免费视频观看"
␣代表一个真实空格;符号本身不属于 token,复制时会保留原始空格。
异常表现
- 01xcloche 的测试:GPT-4o 完全读不出这个 token。note.com
- 02奥村晴彦验证:GPT-5 已能正常读懂——OpenAI 在后续训练中补上了数据,是少见的“已修复”案例。okumuralab.org
- 03MIT Technology Review 曾报道这类中文色情 spam token 混入 GPT-4o 词表的污染问题。technologyreview.com
- 公开记录于
- GPT (OpenAI)
- 行为类型
- 不可说
- 分词器
o200k_base- 发现者
- xcloche