跳到主要内容
返回目录

Llama 3

5 个故障 token

以下条目表示这些 token 曾在该模型或模型系列中被公开记录,不代表所有版本现在仍会出现相同行为。

␣ForCanBeConverted

一个 C# 编译器风格的碎片(“can be converted to foreach”),是最著名的 “多义性” 故障 token:模型每次都把它理解成不同的词。因多个分词器共享 BPE 合并规则,它同时存在于 cl100k、Llama-3 和 Qwen 词表中。
GPT-3.5 / GPT-4Llama 3Qwen多义欠训练验证

$PostalCodesNL

荷兰邮政编码 API 的碎片,横跨三个模型家族都出现故障——很好地证明了:只要分词器共享 BPE 合并规则,故障 token 就会“迁移”。
GPT-3.5 / GPT-4Llama 3Qwen多义欠训练验证

\tTokenNameIdentifier

Roslyn/C# API 标识符,前缀一个制表符(Tab)——代码语料的产物,在 Llama 3 中欠训练。
Llama 3Qwen欠训练验证

$PostalCodesNL

荷兰邮政编码 API 碎片。cl100k 系的标志性欠训练 token,因 BPE 合并规则共享而“迁移”到 Llama-3 与 Qwen 词表。
Llama 3Qwen欠训练验证

\tTokenNameIdentifier

制表符(Tab)开头的 .NET Selenium 文档碎片,Llama-3 词表中嵌入最小的 token 之一。
Llama 3Qwen欠训练验证