Glitch Token关于本站
什么是 glitch token
Glitch Token 是模型词表中的异常 token。分词器语料与模型训练数据错位或编码冲突，可能让它触发乱码、复读、回避或无意义输出。
本站收录的每个条目都包含原始 token 字符串、公开记录的异常表现、关联的模型家族与来源链接，可以复制后自行验证。
行为类型
- 欠训练验证
- 复述或嵌入测试显示该 token 在模型训练中出现不足。
- 不可说
- 模型会回避、替换，或无法准确复述该 token。
- 多义
- 同一 token 会被不稳定地解释成多个无关含义。
- 脏 token 指纹
- 可用于辨别 API 背后的模型系列或分词器。
收录原则
- 仅收录有公开记录的案例，每个条目均附来源链接。
- 记录的行为来自特定时期的公开测试，不代表该模型的当前版本仍会出现相同行为。
- 本站不提供实时检测服务；如需验证某个 API，请使用目录中的 token 自行测试。
数据来源
- SolidGoldMagikarp (plus, prompt generation) — LessWrong
- SolidGoldMagikarp II: technical details — LessWrong
- SolidGoldMagikarp III: Glitch token archaeology — LessWrong
- The ' petertodd' phenomenon — LessWrong
- Magikarp 验证结果汇总 — GitHub
- SmartyHeaderCode: anomalous tokens for GPT3.5 and GPT-4 — LessWrong
- A Search for More “Unspeakable” Glitch Tokens — LessWrong
- GlitchMiner（arXiv:2410.15052）
- Magikarp Llama-2-7b 验证报告 — GitHub
- Magikarp Phi-3 验证报告 — GitHub
- Fishing for Magikarp（arXiv:2405.05417）
- GlitchMiner（arXiv:2410.15052）
- 怎样通过脏token鉴别大模型是否掺水？— 知乎
- Magikarp OLMo-2 验证报告 — GitHub
- Magikarp Gemma-7B 验证报告 — GitHub
- Magikarp Command R+ 验证报告 — GitHub
- Magikarp Yi-9B 验证报告 — GitHub
- Magikarp Falcon3-7B 验证报告 — GitHub
- SGM1 comments: lsusr & mwatkins on ' ertodd' — LessWrong
- SGM2 comments: ' gmaxwell' & the GPT3 basilisk — LessWrong
- SmartyHeaderCode comments: Martin Fell on oralType — LessWrong
- SmartyHeaderCode comments: Martin Fell's finds — LessWrong
- Magikarp Qwen2.5-7B 验证报告 — GitHub
- Magikarp Llama-3-8B 验证报告 — GitHub
- Magikarp OLMoE-1B-7B 验证报告 — GitHub
- xcloche：o200k 故障 token 观察笔记 — note.com
- 奥村晴彦的验证笔记（2025-09-16）
- GPT-4o 中文 token 污染报道 — MIT Technology Review
- What GPT-oss leaks about OpenAI's training data — LessWrong
- PoC 论文（arXiv:2508.17771）
本站同时提供面向 LLM 的纯文本版本： /llms.txt · /llms-full.txt