跳到主要内容
返回目录

Llama 2

6 个故障 token

以下条目表示这些 token 曾在该模型或模型系列中被公开记录,不代表所有版本现在仍会出现相同行为。

▁Mediabestanden

荷兰语名词 “媒体文件” 的复数形式(▁ 为 SentencePiece 空格标记)。它进入了 Llama-2 分词器却几乎从未出现在训练数据中,是 Llama-2-7b 中嵌入 L2 范数最小、欠训练程度最高的 token(0.0287,均值约 1.08)。
Llama 2Phi-3 (Microsoft)欠训练验证

oreferrer

HTML 属性 `rel="noreferrer"` 的碎片:存在于 Llama-2 词表中却几乎没出现在训练数据里,嵌入范数远低于阈值(0.113)。
Llama 2欠训练验证

▁Portály

捷克语 “门户网站” 一词,在构建预训练语料时被冻结进分词器;是 Llama-2-7b 中欠训练程度第二高的 token(嵌入范数 0.0956)。
Llama 2欠训练验证

IABot

Internet Archive Bot(维基百科死链修复机器人)的名字碎片。
Llama 2不可说

abestanden

德语“提出/提交”一词的词干碎片。
Llama 2不可说

ederbörd

来源不明的德语风格碎片。
Llama 2不可说