ÃÂÃÂÃÂÃÂ

经典的乱码（mojibake）token：UTF-8 被错误解码产生的 Ã、Â 序列重复出现，因在分词器语料中频繁出现而被合并为单个 BPE token，却几乎不在模型训练数据中。同族还有重复 16 次的变体及 `ÛÛ`。

"ÃÂÃÂÃÂÃÂ"

异常表现

• 01属于最初发现的 140 个异常 token，在 ChatGPT/GPT-3 中表现出 “不可说” 失败模式：拒绝、回避、答非所问。LessWrong

参考链接

• SolidGoldMagikarp III: Glitch token archaeology（含完整 140 token 列表） — LessWrong