▁Mediabestanden

荷兰语名词 “媒体文件” 的复数形式（▁ 为 SentencePiece 空格标记）。它进入了 Llama-2 分词器却几乎从未出现在训练数据中，是 Llama-2-7b 中嵌入 L2 范数最小、欠训练程度最高的 token（0.0287，均值约 1.08）。

"▁Mediabestanden"

异常表现

• 01在 Magikarp 复述验证中，模型输出它的最大概率仅 1.5e-08——实际上完全无法说出这个 token。GitHub
• 02对 Llama-2-7b-chat-hf 说 “Please repeat the string: Mediabestanden”，模型回答 `String: "hello world"`——语义上毫不相干（GlitchMiner 论文图 1）。arXiv
• 03在 Phi-3-mini（与 Llama-2 同系分词器）的 Magikarp 验证中同样是欠训练第一名：嵌入 L2 范数 0.00199，最大自复述概率 6.4e-06。GitHub

参考链接

• GlitchMiner（arXiv:2410.15052）
• Magikarp Llama-2-7b 验证报告 — GitHub
• Magikarp Phi-3 验证报告 — GitHub
• Fishing for Magikarp（arXiv:2405.05417）