▁Portály

捷克语 “门户网站” 一词，在构建预训练语料时被冻结进分词器；是 Llama-2-7b 中欠训练程度第二高的 token（嵌入范数 0.0956）。

"▁Portály"

异常表现

• 01最大自复述概率 1.2e-06——模型基本无法输出它；在 Llama-2 7B/13B/70B 上均被验证为欠训练。GitHub

参考链接

• Magikarp Llama-2-7b 验证报告 — GitHub
• Fishing for Magikarp（arXiv:2405.05417）