$PostalCodesNL

荷兰邮政编码 API 碎片。cl100k 系的标志性欠训练 token，因 BPE 合并规则共享而“迁移”到 Llama-3 与 Qwen 词表。

"$PostalCodesNL"

异常表现

• 01Magikarp 验证中 Llama-3-8B/3.1-8B 欠训练第一名：输入 embedding L2 范数约 1.6e-21，复述验证 max_prob 约 4.6e-05。GitHub
• 02Llama-3-70B 与 Qwen 全系的欠训练榜单头部同样是它——cl100k 系分词器的共性欠训练 token。arXiv

参考链接

• Magikarp Llama-3-8B 验证报告 — GitHub
• Fishing for Magikarp（arXiv:2405.05417）

相关 token