跳到主要内容
返回目录

oreferrer

HTML 属性 `rel="noreferrer"` 的碎片:存在于 Llama-2 词表中却几乎没出现在训练数据里,嵌入范数远低于阈值(0.113)。

原始 token

"oreferrer"

异常表现

  • 01Llama-2-7b-chat-hf 无法识别/复述它,把它当作毫无关联的词(GlitchMiner 图 1 示例)。arXiv
  • 02Magikarp 验证为欠训练:最大自复述概率仅 2e-05。GitHub
公开记录于
Llama 2
行为类型
欠训练验证
分词器
Llama-2 SentencePiece BPE
发现者
Sander Land & Max Bartolo; Zihui Wu et al.