返回目录
Llama 2
6 个故障 token以下条目表示这些 token 曾在该模型或模型系列中被公开记录,不代表所有版本现在仍会出现相同行为。
▁Mediabestanden
荷兰语名词 “媒体文件” 的复数形式(▁ 为 SentencePiece 空格标记)。它进入了 Llama-2 分词器却几乎从未出现在训练数据中,是 Llama-2-7b 中嵌入 L2 范数最小、欠训练程度最高的 token(0.0287,均值约 1.08)。
Llama 2Phi-3 (Microsoft)欠训练验证
oreferrer
HTML 属性 `rel="noreferrer"` 的碎片:存在于 Llama-2 词表中却几乎没出现在训练数据里,嵌入范数远低于阈值(0.113)。
Llama 2欠训练验证
▁Portály
捷克语 “门户网站” 一词,在构建预训练语料时被冻结进分词器;是 Llama-2-7b 中欠训练程度第二高的 token(嵌入范数 0.0956)。
Llama 2欠训练验证
IABot
Internet Archive Bot(维基百科死链修复机器人)的名字碎片。
Llama 2不可说
abestanden
德语“提出/提交”一词的词干碎片。
Llama 2不可说
ederbörd
来源不明的德语风格碎片。
Llama 2不可说