跳到主要内容
返回目录

Phi-3 (Microsoft)

2 个故障 token

以下条目表示这些 token 曾在该模型或模型系列中被公开记录,不代表所有版本现在仍会出现相同行为。

▁Mediabestanden

荷兰语名词 “媒体文件” 的复数形式(▁ 为 SentencePiece 空格标记)。它进入了 Llama-2 分词器却几乎从未出现在训练数据中,是 Llama-2-7b 中嵌入 L2 范数最小、欠训练程度最高的 token(0.0287,均值约 1.08)。
Llama 2Phi-3 (Microsoft)欠训练验证

▁autorytatywna

波兰语“权威的(阴性)”一词(▁ 为 SentencePiece 空格标记),Phi-3-mini 欠训练排名第二。
Phi-3 (Microsoft)欠训练验证